美团【LongCat实习】基座评测与认知分析-具身与开放物理世界探索

当前，我们正处在大模型从Chat Bot进化为自主智能体（Agent）的关键阶段。Agent 已深度融入代码生产、办公、搜索等场高价值景，其核心能力从单轮对话拓展到复杂任务规划、工具编排、长程记忆与多步推理。如何系统、科学地衡量这些前沿能力，已成为决定大模型能力天花板的核心挑战。我们诚邀对 Agent 评测有信念感的你，一同定义下一代 Agent 能力的标尺。 本岗位涉及的具体方向包括： 1.构建 Agent 全维度评测体系：设计横跨感知-规划-执行-反思完整闭环的评测维度框架，重点覆盖代码、办公、搜索等高价值场景。 2.面向真实用户体验的评测方案建设：当前许多Agent应用领域出现了Benchmark指标相对饱和，无法准确链接真实用户使用体验等问题，我们希望从用户实际使用场景出发，构建高度拟真的交互式评测方案，设计体现用户使用体验的评测指标，对齐训练优化方向与提升用户体验的目标。 3.基于线上回流日志的模型问题分析与评测验收：利用线上真实交互日志，系统化挖掘 Agent 在复杂链路中的典型失效模式，如工具幻觉、目标偏离等。将发现的 Badcase 自动归因并转化为可复现的回归测试用例，建立基于回流问题的评测看板，以数据驱动方式量化模型版本迭代的真实收益。 4.探索下一代评测范式：研究人-智能体协同评估、自进化能力评估、Agentic Evaluation、Auto Research等前沿课题，推动评测范式和模型优化范式演进，产出高水平技术报告与顶会论文。 【为什么是我们】 1.美团拥有世界级的业务难题，从POC到大规模场景，充满机遇与挑战，兼顾学习和成长。 2.业界前列的NV GPU和非GPU算力规模，协同算法，AI框架，网络，计算，芯片等多个团队共同建设大模型软、硬件技术底座。 3.团队拥有同行TOP级别的评测基础能力和相应资源投入，在大模型评测研究领域具备国内领先的竞争力，团队近年产出了PRDBench、AMemGym、CATArena等数十篇高质量论文及研究工作。

多模态大模型能力在近年飞速发展，模态的统一、任务的统一、多种模态联合生成和实时交互带来了崭新的应用体验和生产力提升。在这个过程中，我们需要脚踏实地的同时仰望星空，发挥想象力预判新模型能力带来的应用场景革新，研究达到理想态的关键演进路径并进行度量分析，指引长期有潜力的模型迭代方向。方向包括但不限于 1.多模Agent方向：包括在多模态的工具调用和GUI/CUA，探索结合多模原生能力的OpenClaw展现出的生产力提升潜力，从基座模型能力角度分析其中的关键影响因素并进行自动化度量，指引基座模型的迭代； 2.多模态统一方向：包括全模态统一模型、音视频联合生成等，思考在模态统一、任务统一和多种模态联合生成过程带来新的能力跃迁并进行度量，分析模态和任务间的相互关联，指引模型架构、训练策略等选型； 3.多模交互方向：包括通用世界模型、音视频交互等，研究动态多轮交互中的一致性、真实性和长程记忆等关键能力的自动化度量，指引基座模型的迭代； 【为什么是我们】 一起建立行业评测标杆，推动行业认知进展，代表工作包括： 1.UNOBench 行业首个考察全模态协作能力，并得出全模态和单模态能力Compositional Law，指引1+1+1>3的全模态能力发展。 2.EvalTalker 行业首个多人、多姿态、全景覆盖的数字人评测基准，指引自研Longcat-Avatar模型稳居业界前沿。 3.UniHetero 行业首个验证生成能促进理解的unified model，以简洁的结构在大规模数据上得到更好的data-scaling。

你将加入 LongCat Agent 算法团队，与一线研究员共同推进下一代智能体的范式探索。具体方向包括但不限于： 1.Agentic RL 基础算法研究：探索面向长程多步任务的强化学习训练范式，包括稀疏奖励下的信用分配、过程奖励建模、自我博弈与多智能体协同、可扩展的 reward modeling，以及训练稳定性与样本效率优化。目标是实现Agent 能力增长的主引擎； 2.Search Agent 能力构建：研发面向开放域复杂查询的搜索智能体，覆盖多轮检索规划、查询改写、证据聚合、多源信息冲突消解与可信溯源。重点突破"深度研究"类长程任务（Deep Research）的端到端 RL 训练，让模型在数十步检索-推理交织中保持目标产出高质量分析内容。 3.生活服务助理 Agent：解决美团真实业务环境中（餐饮、出行、到店、履约等多业务横跨）实现智能助理的基础问题，研究多工具长链调用、澄清和主动服务、个性化记忆与偏好建模、跨会话状态管理，以及面向真实用户反馈的RL 闭环。这里的复杂度来自亿级用户、千万级 SKU 与多步骤决策构成的真实环境。 【为什么是我们】 1.稀缺场景：直接接触亿级真实用户、跨业务多步决策的复杂环境，是当前业界最稀缺的 Agent 训练土壤； 2.充足资源：充足算力、丰富多模态数据、专属带教导师、顶级 infra 团队支持； 3.研究自由：明确鼓励技术探索，有机会参与顶会论文产出，研究成果可服务亿级真实用户实现学术与产业双闭环； 4.成长路径：北京 / 上海双地 base，扁平协作、与算法/Infra/产品高密度共事，快速成长为下一代 Agent 技术骨干。

我们相信，AI 研发本身，是下一个被 AI 加速和重塑的领域。美团 LongCat 团队正在探索下一代 AI 自进化与自动化研究系统：让模型不仅能够完成任务，也能够参与模型研发过程本身，围绕问题发现、假设生成、实验执行、结果验证、经验沉淀与策略迭代，形成持续改进的研究闭环。加入我们，你将参与构建以研究智能体为核心，联动可验证研究环境、训练与评测体系、研究策略库的 AI for AI 系统，并将自动化研究能力反哺到模型自身的训练、评测与迭代中，推动“用 AI 研发更强 AI”的长期目标。 1. 自动化研究智能体能力建设 参与提升模型在复杂任务分解、长程推理、研究规划、工具使用、代码生成与执行、证据整合、结果归因与研究报告生成等方面的闭环能力，并在真实模型研发任务中验证效果。 2. 长程上下文、记忆与状态管理 探索 context scaling / compression、memory selection、任务状态追踪等机制，解决长周期任务中的一致性衰减、状态丢失、中断恢复与长期依赖管理问题。 3. 可验证研究环境与自动实验闭环 构建覆盖 search、browser、retrieval、code execution、training / eval job、sandbox 等能力的交互式研究环境，将研究任务建模为可交互、可验证、可评分的闭环，支持自动实验编排、结果比对与版本回滚。 4. 训练策略与反馈信号设计 设计数据配方、环境反馈、过程监督与 reward 信号体系，结合 SFT、强化学习等方法，引导模型在事实正确性、工具调用可靠性、任务完成率与研究轨迹质量上持续提升。 5. 评测体系与错误分析闭环 建设面向真实 research workflow 的 benchmark 与自动评测体系，系统分析研究智能体在规划、检索、工具调用、上下文管理、实验执行、结果归因等环节的典型失败模式，并反哺训练策略与 harness 优化。 6. 研究经验沉淀与策略自进化 将成功与失败任务轨迹沉淀为 research episode、skill、eval case 等可检索、可复用、可训练的经验资产，支持模型在后续任务中检索、复用、迁移与迭代，推动研究策略的持续自进化。