美团【LongCat实习】面向Agentic场景的语音交互大模型前沿研究
任职要求
【必要项】 1.本科及以上学历，计算机、人工智能、自动化、信号处理、数学等相关专业在读； 2.在以下一个或多个领域有较深入的研究或实践经验：音频/语音大模型（Audio-LLM / Speech Language Models）、端到端语音对话系统、大语言模型（LLM）、Agent系统、语音识别/合成（ASR/TTS）、强化学习； 3.熟悉Python，熟练使用PyTorch等深度学习框架，具备较强的工程实现能力，有大规模分布式训练或流式推理优化实践经验者优先； 4.好奇心驱动，具备出色的问题分析与自主探索…
工作职责
下一代智能体将彻底打破“键盘与屏幕”的束缚，语音将成为人类与AI协作最自然、最高效的入口。这要求模型不仅能“听懂”字面意思，还要能感知语气、情绪与环境音，并基于这些多维度的语音信息直接进行思考、规划与行动。本课题聚焦于构建端到端（End-to-End）的语音原生大模型，并将其深度融入Agentic工作流，打造“边听、边想、边说、边做”的新一代语音智能体，推动AI从传统的“级联式语音助手（ASR+LLM+TTS）”走向具备极低延迟、全双工交互与复杂任务执行能力的真实世界数字伙伴。 具体地，我们关注如下研究方向： 1.端到端语音-语言统一建模与理解： 摒弃传统的级联架构，探索将连续的音频流（包含语音、副语言特征、环境音）与离散的文本Token在统一的自回归/非自回归架构下进行联合建模。使Agent能够无损保留语音中的情绪、重音、语速等声学特征，并在极低延迟下实现跨模态的深度语义理解。 2.实时全双工流式交互与动态响应： 研究面向真实对话场景的流式输入输出机制，攻克语音智能体在自然对话中的“听觉注意力”问题。探索支持随时打断（Interruption）、智能插话（Backchanneling）、端点检测（VAD）与即时状态切换的底层模型架构，实现媲美真人的丝滑对话节奏。 3.语音驱动的Agent规划与工具调用（Voice-to-Action）： 探索如何将模糊、口语化、包含冗余信息的自然语音指令，直接转化为精准的Agent意图与工具调用（Tool Use/API Call）序列。研究语音模态下的长上下文记忆、多轮语音交互中的意图追踪，以及“边对话边执行任务”的并行处理能力。 4.面向语音Agent的高效对齐与强化学习： 探索适用于语音大模型的训练范式与对齐策略。包括但不限于：基于人类偏好的语音强化学习（RLHF for Audio）、语音交互轨迹的大规模构建、针对“对话自然度”与“任务完成率”的多目标奖励建模，以及基于环境反馈的语音Agent自进化机制。 【为什么是我们】 1.全栈顶配算力支持，依托美团大规模算力集群，提供千卡至万卡级算力支持，具备成熟的分布式训练与低延迟推理优化栈，保障 世界动作模型与 VLA 大规模训练。 2.与优秀人才同行，你将与行业顶尖的大模型研究员及机器人领域专家并肩作战，共同攻克具身智能的技术难点。
你将加入 LongCat Agent 算法团队，与一线研究员共同推进下一代智能体的范式探索。具体方向包括但不限于： 1.Agentic RL 基础算法研究：探索面向长程多步任务的强化学习训练范式，包括稀疏奖励下的信用分配、过程奖励建模、自我博弈与多智能体协同、可扩展的 reward modeling，以及训练稳定性与样本效率优化。目标是实现Agent 能力增长的主引擎； 2.Search Agent 能力构建：研发面向开放域复杂查询的搜索智能体，覆盖多轮检索规划、查询改写、证据聚合、多源信息冲突消解与可信溯源。重点突破"深度研究"类长程任务（Deep Research）的端到端 RL 训练，让模型在数十步检索-推理交织中保持目标产出高质量分析内容。 3.生活服务助理 Agent：解决美团真实业务环境中（餐饮、出行、到店、履约等多业务横跨）实现智能助理的基础问题，研究多工具长链调用、澄清和主动服务、个性化记忆与偏好建模、跨会话状态管理，以及面向真实用户反馈的RL 闭环。这里的复杂度来自亿级用户、千万级 SKU 与多步骤决策构成的真实环境。 【为什么是我们】 1.稀缺场景：直接接触亿级真实用户、跨业务多步决策的复杂环境，是当前业界最稀缺的 Agent 训练土壤； 2.充足资源：充足算力、丰富多模态数据、专属带教导师、顶级 infra 团队支持； 3.研究自由：明确鼓励技术探索，有机会参与顶会论文产出，研究成果可服务亿级真实用户实现学术与产业双闭环； 4.成长路径：北京 / 上海双地 base，扁平协作、与算法/Infra/产品高密度共事，快速成长为下一代 Agent 技术骨干。
我们相信，AI 研发本身，是下一个被 AI 加速和重塑的领域。美团 LongCat 团队正在探索下一代 AI 自进化与自动化研究系统：让模型不仅能够完成任务，也能够参与模型研发过程本身，围绕问题发现、假设生成、实验执行、结果验证、经验沉淀与策略迭代，形成持续改进的研究闭环。加入我们，你将参与构建以研究智能体为核心，联动可验证研究环境、训练与评测体系、研究策略库的 AI for AI 系统，并将自动化研究能力反哺到模型自身的训练、评测与迭代中，推动“用 AI 研发更强 AI”的长期目标。 1. 自动化研究智能体能力建设 参与提升模型在复杂任务分解、长程推理、研究规划、工具使用、代码生成与执行、证据整合、结果归因与研究报告生成等方面的闭环能力，并在真实模型研发任务中验证效果。 2. 长程上下文、记忆与状态管理 探索 context scaling / compression、memory selection、任务状态追踪等机制，解决长周期任务中的一致性衰减、状态丢失、中断恢复与长期依赖管理问题。 3. 可验证研究环境与自动实验闭环 构建覆盖 search、browser、retrieval、code execution、training / eval job、sandbox 等能力的交互式研究环境，将研究任务建模为可交互、可验证、可评分的闭环，支持自动实验编排、结果比对与版本回滚。 4. 训练策略与反馈信号设计 设计数据配方、环境反馈、过程监督与 reward 信号体系，结合 SFT、强化学习等方法，引导模型在事实正确性、工具调用可靠性、任务完成率与研究轨迹质量上持续提升。 5. 评测体系与错误分析闭环 建设面向真实 research workflow 的 benchmark 与自动评测体系，系统分析研究智能体在规划、检索、工具调用、上下文管理、实验执行、结果归因等环节的典型失败模式，并反哺训练策略与 harness 优化。 6. 研究经验沉淀与策略自进化 将成功与失败任务轨迹沉淀为 research episode、skill、eval case 等可检索、可复用、可训练的经验资产，支持模型在后续任务中检索、复用、迁移与迭代，推动研究策略的持续自进化。
和我们一起开发前沿Agentic Coding模型，持续提升模型在长程复杂任务和真实开发场景中的表现，并通过代码提升数字世界的智能上限。加入团队，你将参与如下工作： 1.代码全链路训练：包括pretrain、midtrain、SFT、RL等环节，持续提升模型在代码生成、代码理解、代码修复等方向的能力边界。 2.高质量数据建设：构建高质量Coding数据生产、数据配比与数据质量评估体系，覆盖软件工程任务、仓库级代码生成、终端任务、Web开发等方向，推动模型能力持续演进。 3.Coding 强化学习：构建面向 Coding 场景的大规模 RL 训练体系，研究 Reward Design、Self-Improvement 等关键技术，提升模型在真实任务中的稳定性与泛化能力。 4.长上下文与 Repo-Level 建模：研究超长上下文代码建模、多文件关联理解、仓库级知识记忆与代码结构建模能力，提升模型对复杂大型项目的理解和生成能力。 【为什么是我们】 1.充分参与基模全链路的工作的机会，包括万卡集群上的超大规模训练，前沿算法研究，模型评测与行为研究，以及真实业务落地； 2.极具挑战的目标和远期愿景，通过代码去持续探索并突破模型智能上限； 3.对标行业极具竞争力的薪酬与资源支持。
我们期望探索构建这样的 AI 系统：具备真实物理世界级别的全模态信息交互与处理能力、有高学习和成长属性、可以无人监管地高效执行并完成真实复杂长程任务；从而让 AI 真正成为人类的强大帮手，对工作、生活、科研等人类社会的各个方面都进一步带来更大、更深远的有益影响。 1.探索小时或者天级别复杂长程任务下的 RL Scaling 等可靠后训练范式，实现有效的探索引导和 credit assignment，并保障训练的 robustness、efficiency & effectiveness； 2.探索模型的自进化系统构建方案，在易于模型理解使用的前提下，训练模型以更高信息密度的形态构建、维护和利用 memory / skills，使模型能主动在重复性任务或封闭任务域中总结、提炼认知与经验，并进行有效复用，达到不断自进化的效果； 3.探索多模态推理和多模态环境交互的范式，尤其关注真实物理世界级别的动态环境，并基于此训练模型在复杂全模态环境下的复杂长程任务完成能力； 4.探索模型群体智能的演化可能性，可以自主进行合理的任务拆解、分工、协同探索与智能集成； 【为什么是我们】 1.获得在业内最前沿的大模型认知和技术积累，团队人才密度高且具备良好的研究、讨论氛围，鼓励大家研究最重要、最难、最开放的问题； 2.研究成果丰硕，在 agent / multi-modal agent、posttrain、reinforcement learning、memory & evolving system 等方向进行了系统探索，仅过去半年就产出 ICLR 2篇，ACL 1篇，ICML 5篇，另有10篇以上 NeurIPS/EMNLP 工作在投，投稿工作顶会中稿率达 80%，代表工作包括 VitaBench / ScaleEnv / CoBA-RL / MemOCR / Skill0 / Skill1 / SDAR 等； 3.有充足的数据和GPU资源用于实验探索，同时有良好的高校科研合作链接和丰富的学术资源，助力大家探索最重要、最难、最开放的问题； 4.工作环境优越，团队扁平，结果导向，提供有竞争力的薪资福利和良好的个人成长、发展空间；