通义通义实验室-多模态后训练算法专家-杭州/上海/北京

1. 探索研究多模态理解、视频理解等方向的前沿技术； 2. 关注多模态、全模态大模型的后训练相关技术，研判RL在多模态理解上的潜力；

1. 支撑蚂蚁集团在各个业务领域的MLOps&LMOps算法研发工作，覆盖机器学习系统多个子方向领域的工作，包括：数据配比&全链路血缘建设、数据实验&分析、深度学习/大模型预训练/后训练/推理等，建设支持AI全链路的研发平台与AI垂类应用开发平台，实现算法研发效率、和资源利用率的最大化，灵活可扩展的支持不同领域的个性化应用开发需求，为蚂蚁大模型研发链路及应用研发探索新的研发模式； 2. 对平台进行全局性和前瞻性的架构设计和核心技术细节实现，帮助团队攻克各种技术难关，保障和提升平台稳定性。

1. 负责面向AI手机、智能座舱等ToB场景的多模态交互模型研发，包括语音基础模型、视觉-语言模型（VLM）、全模态大模型的后训练（CPT/SFT/RL）与推理优化。 2. 研发基于神经网络、扩散模型或大模型的端侧音频信号处理算法（如语音增强、降噪、去混响），提升复杂声学环境下的语音交互质量。 3. 构建支持自然打断、精准判停、上下文感知的实时双工交互模型，实现低延迟、高鲁棒性的流式对话体验。 4. 针对端侧资源约束，开展模型压缩、量化、蒸馏及高效部署，确保算法在DSP/NPU等嵌入式平台稳定运行。 5. 与系统、产品团队紧密协作，推动算法从原型验证到大规模商用落地。

团队介绍：Data-电商-智能对话团队，致力于打造业界领先的大模型对话系统。团队服务的日活用户超过数亿，应用场景覆盖抖音电商全链路，包括平台客服、平台商服、商家客服、达人客服，以及创新的智能导购等核心业务场景，通过持续的技术创新和优化，成功构建了一套完整的智能对话解决方案，为电商业务带来了显著的效率提升和用户体验改善。 课题介绍： 背景：电商智能客服正逐渐成为业务增长和用户体验优化的重要方向，基于大型语言模型（LLM）的智能客服系统解决电商场景中的核心挑战，由LLM完成一次用户进线的完整接待过程，包括诉求澄清、方案协商、方案执行等阶段，实现电商业务的智能化升级——让用户享受更智能高效的客服服务。 研究方向：本课题聚焦于LLM 后训练与智能客服。构建基于 LLM 的多智能体（Multi-Agent）框架，通过规划、回复、工具三类Agent的协作，实现从问题分析、方案执行到结果反馈的全流程智能客服。核心目标是确保客服对话的准确性、合规性与流畅度，避免模型生成幻觉或违背平台政策。同时，围绕电商客服的复杂任务，构建 Benchmark数据集，优化SOP遵循、多轮交互、用户满意度等指标。此外，研究高效数据利用方法，探索低标注数据条件下的LLM训练，并开发自动生成高质量训练数据的系统，以降低人工标注成本，提高智能客服的服务质量与效率。 1、开发AI驱动的智能客服系统：设计并实现AI对话式客服助手，能够处理电商咨询、投诉、退款、争议解决及物流相关问题，以AI替代传统人工客服； 2、大语言模型（LLM）后训练与高效学习：应用最前沿的LLM训练优化技术，如指令微调、强化学习、持续学习等，在最少标注数据的情况下优化AI客服响应质量；具备大语言模型（LLM）微调、知识蒸馏或强化学习的相关经验，应用于对话式AI场景；深入理解检索增强生成（RAG）、专家混合模型（MoE）、稀疏注意力、强化学习、推理时间优化等技术，以提升AI对话质量； 3、基准测试与训练数据构建：识别具有挑战性的客服交互场景，如政策解读、争议处理、客户投诉、导购推荐等，并构建专门的测试集和训练集； 4、多语言与跨文化客服支持：构建能够适应多语言和不同文化背景的AI模型，确保客服交互的精准翻译和针对不同用户群体的合适响应；精通多语言自然语言处理（NLP）、机器翻译及跨语言对话建模； 5、模型优化与高效部署：研究模型压缩、量化、推理优化等技术，确保AI客服助手在大规模应用场景下具备低延迟、高可靠性的表现。