智能互联通义实验室-多模态后训练算法专家-杭州/上海/北京
任职要求
1、计算机科学、人工智能、机器学习或相关领域的硕士或博士学位。 2、在多模态、计算机视觉、NLP、AIGC、计算机图形学、机器学习等一个或多个领域有较深入的研究。 3、有多模态大模型后训练相关经验，benchmark构造经验。 4、能够积极创新， 乐于面对挑战， 负责敬业，优秀的团队合作精神，一起探索新技术，推进技术进步。 加分项： 1、具…
工作职责
1、探索研究多模态理解、视频理解等方向的前沿技术。 2、关注多模态、全模态大模型的后训练相关技术，研判RL在多模态理解上的潜力。
1、探索研究多模态理解、视频理解等方向的前沿技术。 2、关注多模态、全模态大模型的后训练相关技术，研判RL在多模态理解上的潜力。
1、负责多模态数据数据pipeline建设、数据版本管理、数据处理、数据算子开发集成等工作。 2、开发自动化数据处理工具与脚本，优化数据清洗、标注及质量评估的效率和规模化能力。 3、参与多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，支持模型持续迭代； 4、与算法团队紧密协作，根据模型训练需求定制数据策略，提升训练效果。 5、参与模型推理与部署、模型蒸馏、推理服务服务化，能够支持tagging及服务优化工作。
1. 探索研究多模态理解、多模态生成、计算机视觉、自然语言处理、音频等前沿技术； 2. 参与研发多模态、全模态大模型等下一代人工智能核心技术，探索大规模/超大规模多模态理解与生成交织的基础模型，提升大模型能力； 3. 负责跟踪和研究多模态大模型前沿技术调研、落地、对业务进行优化。
1. 负责通义实验室多模态口语交互的算法研发，通过深入理解全链路多模态交互技术，推进大模型增强的语言交互技术能力建设。 2. 多模态交互： （1）端到端多模态联合建模 - 语音/视觉/文本等模态融合并应用于人机交互场景。 （2）多模态交互应用算法 - 意图动态规划、多智能体协作、多任务推理、主动交互。 （3）多模态对话系统设计 - 多轮交互状态管理、情境感知、情感理解及生成控制。 3. 音视频内容理解： （1）转写内容后处理 - 书面化、标点、分段分章节。 （2）音视频分析 - 分角色、语种判别、视频场景划分。 （3）口语内容长篇章理解及生成。 4. 探索多模态口语交互技术落地于实际应用场景，包括但不限于： （1）消费电子-智能穿戴实时交互、手机多模态助手、具身机器人环境感知。 （2）内容消费-音视频媒资、会议场景、电销通话多模态理解等。 5. 持续关注行业前沿动态，通过专利申请、论文和技术报告等形式提升团队的技术影响力。