阿里巴巴算法研究员-多模态-深圳
任职要求
探索多模态前沿能力并在真实垂类场景下落地验证，打造商业化盈利能力。包括不限于： ● 多模态检索与推理 (RAG+): 构建跨模态检索系统，通过多轮视觉推理精准识别商品属性（如面料、Logo 细节、防伪特征），并自动生成多维度竞品对比表辅助决策。 ● 图像生成与场景落地: 研发面向客服场景的图像生成能力，包括根据业务需求自动生成或修改品牌 Logo、根据描述生成商品搭配效果…
工作职责
探索多模态前沿能力并在真实垂类场景下落地验证，打造商业化盈利能力。包括不限于： ● 多模态检索与推理 (RAG+): 构建跨模态检索系统，通过多轮视觉推理精准识别商品属性（如面料、Logo 细节、防伪特征），并自动生成多维度竞品对比表辅助决策。 ● 图像生成与场景落地: 研发面向客服场景的图像生成能力，包括根据业务需求自动生成或修改品牌 Logo、根据描述生成商品搭配效果图，以及营销文案配图的自动化创作。 ● 复杂任务 Tool-use: 优化 Agent 识别 UI 截图或实拍图并触发工具调用的能力，将多模态理解直接转化为转化为标准化的业务指令集，实现自动化的信息补全、文件发送等业务系统操作。 ● 多模态Agent构建: 将视觉选品、自动化属性提取、Logo 创作等技术点在Agent框架中以模块化可扩展的skill进行端到端部署与验证。
1.负责多模态理解和统一大模型方向的研究与开发； 2.探索基于文本的高保真长视频生成方法，解决现有技术的局限性； 3.深入研究三维物理世界的建模与对应的物理规律，提升视频生成质量； 4.优化视频生成模型的控制与编辑流程，提高生产效率。
参与微信大规模语言模型（WeLM）的建设，涵盖训练流程的多个环节 1.探索大规模预训练模型的结构创新、优化器策略创新，提升单位算力下的智能获取效率 2.探索更高效全面的预训练数据建设方案、预训练数据使用方案 3.建设通用 Long-Horizon LLM Agent 的训练策略 4.独立或与其他研究员合作进行前沿领域研究。
一、关于阿里巴巴国际站 阿里巴巴国际站是全球领先的跨境 B2B 数字贸易平台，致力于推动全球贸易数字化升级。在这里，你将有机会直接参与构建""万物皆可搜""的下一代智能搜索引擎，利用最前沿的多模态大模型与 Agent 技术，连接海量商品库与全球复杂的商业需求，重新定义 B 类电商的搜索体验。 二、关于项目 本项目旨在解决国际站 B 类业务场景下，非结构化数据理解难、复杂意图推理弱、亿级规模响应慢的核心挑战。 传统关键词搜索已无法满足买家通过“竞品图”、“手绘草图”或“长篇规格书（PDF/Word）”寻找供应链的需求。 本项目致力于： 突破多模态语义鸿沟：实现从单纯的“以图搜图”到跨模态（图 + 文+ 文档）深度意图理解的跃迁，精准索引产品图片、设计图纸及长文档。 构建 Agentic 检索增强系统：面对超长上下文（整本产品目录）和强约束条件（材质、认证标准组合），利用多 Agent 协作与复杂 Function Calling 能力，让 AI 具备逻辑推理能力，不仅“找到”商品，更能“读懂”商机。 攻克高并发实时交互难题：在亿级商品库中，实现毫秒级的图 + 文混合检索响应，支撑全球买家的实时采购决策。 三、你的职责 1. 前沿调研与方案设计：跟进学术界与工业界在多模态检索（Image-Text-Document Retrieval）、长上下文理解（Long-Context Understanding）、Agentic RAG 及复杂任务编排方向的最新进展，探索适用于 B 端复杂场景的落地方案。 2. 负责多模态表征学习，提升图片、文本及长文档（PDF/Word）之间的深度语义对齐精度。 3. 针对亿级数据规模，优化检索链路的延迟与吞吐量，实现高并发下的实时多模态交互。 4. 落地实践与成果转化：参与模型搭建、全链路调优与离线/在线实验分析，将理论方案转化为线上生产能力；对创新性研究成果进行总结，撰写高质量技术论文并尝试投稿顶级会议（如 SIGIR, CVPR, ACL, KDD 等）。
1.多模态空间智能前沿研究： 紧跟领域前沿，深入研究提升多模态模型在空间智能领域的整体性能 2.下游任务验证：验证多模态空间智能模型在具身智能体中的作用 3.创新技术探索： 探索新的预训练和后训练范式，找到在空间智能领域可泛化的训练范式