蚂蚁金服蚂蚁集团-原生多模态大模型算法专家-北京/杭州
任职要求
1. 硕士及以上学历，计算机视觉、语音、模式识别、计算机科学或数学相关专业背景； 2. 具备扎实的代码基础，熟练掌握Python/Tensorflow/PyTorch等； 3. 具备较强的团队合作能力和沟通…
工作职责
1. 参与原生多模态大模型研发，包括MoE多模态架构、多模态强化学习框架、多模态长思维链推理能力优化、高质量数据合成、体验优化等。 2. 负责原生多模态大模型高效率预训练，以及后训练探索，支撑多模态输入/输出、复杂任务均衡优化。
淘天集团未来生活实验室，聚焦于AI的发展，打造支撑电商及AI Native的大模型基座能力，兼顾对1-3年内和未来生活场景相关的前沿技术的研究和关注。既要支持好各个前台场景的AI化，又肩负起探索未来技术趋势的责任。 1. 探索多模态大模型，包括多模态大模型预训练、SFT微调、及RLHF对齐等技术； 2. 探索图像和视频的统一表征方法，以及长视频的高效表征压缩技术； 3. 探索将多模态大模型用于图像理解、视频理解、视觉推理、视觉多轮交互、实时对话等任务； 4. 探索原生多模态大模型的架构与训练范式； 5. 结合淘天业务场景，推动多模态大模型在淘天搜索、推荐、广告等业务中的应用。
淘天集团未来生活实验室，聚焦于AI的发展，打造支撑电商及AI Native的大模型基座能力，兼顾对1-3年内和未来生活场景相关的前沿技术的研究和关注。既要支持好各个前台场景的AI化，又肩负起探索未来技术趋势的责任。 1. 探索多模态大模型，包括多模态大模型预训练、SFT微调、及RLHF对齐等技术； 2. 探索图像和视频的统一表征方法，以及长视频的高效表征压缩技术； 3. 探索将多模态大模型用于图像理解、视频理解、视觉推理、视觉多轮交互、实时对话等任务； 4. 探索原生多模态大模型的架构与训练范式； 5. 结合淘天业务场景，推动多模态大模型在淘天搜索、推荐、广告等业务中的应用。
1. 面向蚂蚁AGI原生产品灵光，探索研究多模态大模型算法，包括多模态理解、OCR、多模态视觉推理(Think with images)、理解生成统一等方向。 2. 在基模基础上，参与多模态模型Continue Pretrain、Post Training相关工作，以及创新应用场景的探索。 3. 跟踪和探索多模态大模型的前沿问题，结合实际场景，提供全面的技术解决方案，参与前沿算法与应用的研究。
1、研发面向云计算底座海量数据的大模型，包括但不限于代码大模型、全模态、大规模图学习等领域相关的大模型的应用算法研发； 2、参与大模型应用研发全流程的工作，包括但不限于模型算法设计、代码开发、训练、部署优化、调试、评测；技术创新如专利、论文的撰写；外部技术影响力交流等； 3、推动大模型在DevOps提效、内外部智能体业务应用、爆款AI原生应用、安全和技术风险防控等场景的业务落地；