阿里巴巴研究型实习生-1688-多模态强化学习算法工程师
任职要求
1. 计算机、人工智能或数学相关专业博士，有扎实的计算机知识和LLM功底。 2. 掌握Qwen/DeepSeek-R1等LLM训练方式，常见PPO/GRPO/Self-Play等强化学习算法原理，有R…
工作职责
1. 负责提升电商B2B场景下，多模态大模型对用户超长个性化上下文建模能力。 2. 负责基于强化学习提升大模型多步骤工具调用能力，实现亿人亿面用户仿真能力。 3. 构建大模型的角色扮演能力，构建高保真用户模拟器及评估体系，提升Agent训练效率。 4. 负责LLM的前沿技术探索，沉淀可复用的垂域Agent体系化构建方案。
1、参与贝壳全模态智能体核心能力建设，围绕大语言模型（LLM）开展增量预训练、指令微调及对齐优化（SFT / RLHF / DPO / RLAIF 等），提升模型在复杂业务场景中的推理、规划与决策能力； 2、设计与优化基于LLM的Agent系统，包括任务拆解、链式推理、多步决策、工具调用（Tool Use / Function Calling）、RAG增强、长短期记忆机制等核心能力建设； 3、构建面向垂直业务场景的智能体解决方案，提升模型在多轮对话、流程执行、结构化信息理解与生成等复杂任务中的稳定性、可控性与泛化能力； 4、推动文本为核心的全模态能力融合，探索文本与视觉、语音等模态的统一建模与对齐机制，提升跨模态理解与交互能力； 5、搭建全模态智能体的数据与评测体系，包括指令数据构建、偏好数据生成、自动化benchmark设计及效果评估，支撑模型持续迭代优化； 6、与工程、产品团队紧密协作，推动全模态智能体系统在真实业务场景中的规模化落地与性能优化。
1、参与贝壳全模态智能体核心能力建设，围绕大语言模型（LLM）开展增量预训练、指令微调及对齐优化（SFT / RLHF / DPO / RLAIF 等），提升模型在复杂业务场景中的推理、规划与决策能力； 2、设计与优化基于LLM的Agent系统，包括任务拆解、链式推理、多步决策、工具调用（Tool Use / Function Calling）、RAG增强、长短期记忆机制等核心能力建设； 3、构建面向垂直业务场景的智能体解决方案，提升模型在多轮对话、流程执行、结构化信息理解与生成等复杂任务中的稳定性、可控性与泛化能力； 4、推动文本为核心的全模态能力融合，探索文本与视觉、语音等模态的统一建模与对齐机制，提升跨模态理解与交互能力； 5、搭建全模态智能体的数据与评测体系，包括指令数据构建、偏好数据生成、自动化benchmark设计及效果评估，支撑模型持续迭代优化； 6、与工程、产品团队紧密协作，推动全模态智能体系统在真实业务场景中的规模化落地与性能优化。
如果你，渴望深入探索视频生成技术，开发文本到视频（T2V）基础模型的前沿技术，致力于提升生成视频的画质，真实性，一致性，以及视频生产的效率； 如果你，热衷于AIGC驱动的视频增强与处理技术，专注于将通用大模型架构优化并迁移到垂直领域，推动下游应用性能的突破； 如果你，专注于基于AIGC的可控性编辑，探索如何精准实现内容生成与修改，满足多样化的业务需求； 如果你，对基于AIGC的人脸，人体生成编辑技术充满热情，致力于打造具有高度交互性和真实性的数字形象； 如果你，期望在多模态视频理解领域取得突破，通过技术创新提升视频内容的理解与分析能力； 如果你，期望与一群聪明、皮实、乐观、追求卓越的优秀伙伴并肩作战，共同开创音视频技术的新篇章； 那还在等待什么，赶紧加入我们吧！
1、设计并研发输入输出任意模态（Any-to-Any）的统一架构，重点攻克 Audio-in-Audio-out 的原生建模； 2、研发高性能的神经音频编解码器（Neural Audio Codec），探索连续表征与离散 Token 的最优平衡； 3、利用海量多模态数据（语音、音乐、环境音、视频），负责超大规模参数模型的分布式预训练； 4、探索针对音频模态的指令微调与强化学习算法，优化模型在语音交互中的情感表达、打断机制、副语言（笑声、停顿）以及听感质量。