阿里巴巴业务技术-多模态算法工程师-杭州
任职要求
1.计算机/电子/数学/自动化等相关专业，硕士及以上学历；具备扎实的机器学习、深度学习与概率统计基础 2.熟悉多模态大模型，包括但不限于Llava，Qwen-VL，internvl等，并在以下领域有一定研究经验，包括但不限于：多模态检索、图文多模态模型、视频文本多模态模型、生成理解统一模型等 3.有CV/多模态…
工作职责
1.负责电商领域多模态大模型的方案设计与落地，包括视觉-语言、视频-语言等方向的预训练、指令微调与对齐，在商品理解、内容理解/生成、内容审核、自动打标等多个淘天营销内容场景落地 2.构建电商多模态数据管线与数据质量治理体系，覆盖采集、清洗、标注、合成与去重，确保规模化训练的数据可用性 3.设计与实现多模态融合架构（如图像/视频/音频编码器、Connector/Q-Former等、跨模态注意力），提升跨模态理解与生成建模能力 4.进行指令微调与人类反馈强化学习（SFT、DPO、RLHF 等），完善人类偏好对齐，构建高质量评测与数据闭环 5.负责设计构建vlm加速相关算法方案，包括但不限于：模型剪枝、蒸馏、推理加速等
1.主导基于大模型的AI Agent全生命周期研发，重点聚焦多模态Agent建设，包括但不限于GUI Agent/图文理解Agent/图文评估Agent，构建具备视觉感知和推理能力的多模态Agent应用； 2.运用SFT、RL等Post-training训练方法，探索多模态与RL的结合，提升大模型/多模态大模型在自主规划（Planning）、多步推理、多模态RAG、工具调用、UI界面理解、复杂图文理解、局部细节感知等方面的能力； 3.跟踪LLM、VLM与Agent领域的国际前沿技术动态，推动技术创新在业务场景中的落地应用，重点突破任务规划与复杂推理、研发测试自动化、computer use、大规模商品图文分析、图文细节理解与评估等方向的应用创新； 4.持续优化多模态能力与已有Agent架构的集成，快速构建具备多模态能力的Agent应用，提升Agent系统性能与效率，提供AI Agent技术方案
1. 负责多模态理解、图像搜索及推荐系统的算法设计与优化，推动技术在电商、内容生成等场景的业务落地，提升用户体验和核心指标； 2. 跟踪前沿技术趋势，探索多模态理解和推荐系统的创新方案，结合业务需求提出技术突破方向，推动技术方案从原型验证到生产环境部署； 3. 与产品、工程团队协作，制定技术方案并推动高效落地，确保系统稳定性、可扩展性和业务目标的达成。
1、负责多模态 & 大模型在商品评价领域落地项目，涵盖商品评价理解&结构化/商品评价质量甄别，印象词/卖点词/场景词抽取、评价摘要生成等任务 2、负责理解业务需求，进行针对性的研究算法，面向电商场景落地，发挥算法在实际应用中的价值。
1、负责多模态 & 大模型在商品领域落地项目，涵盖商品内容理解&结构化/商品质量甄别/商品标题/图片生成/同款识别等任务。 2、负责商品检索相关的计算机视觉算法的创新和研究，包括但不限于：目标检测、图像分类、图像表征、图像校正与增强等相关算法研究。 3、负责商品知识库构建&知识标准化等工作。 4、负责跟踪业界前沿NLP&CV技术进展，寻找有价值的科研问题，开展前沿算法的研究工作，推进技术进步； 5、负责理解业务需求，进行针对性的研究算法，面向电商场景落地，发挥算法在实际应用中的价值。