美团LongCat - 具身智能算法研究员

LongCat 是美团基础研发自主研发的大模型，覆盖语言、视觉、语音、具身全栈。LongCat 相继推出 LongCat-Flash、LongCat-Flash-Thinking、LongCat-Flash-Omni 等系列模型，正在构建具备世界模型能力的通用智能系统加入团队你将参与如下工作 1. VLA 基座模型演进，探索下一代视觉-语言-动作（VLA）底座，攻克跨本体与跨任务泛化的瓶颈。 2. 世界动作模型（World Action Model, WAM）构建，探索全新的 WAM 核心架构设计，利用视频生成，扩散底座进行时空推演与物理规律自学习，转化为低阶动作序列的最优闭环决策。 3. 具身强化学习， 研发面向复杂长程任务的大规模强化学习框架，提升模型在物理世界中的动态容错与自主策略修正能力。 【为什么是我们】 1.全栈顶配算力支持，依托美团大规模算力集群，提供千卡至万卡级算力支持，具备成熟的分布式训练与低延迟推理优化栈，保障 世界动作模型与 VLA 大规模训练。 2.与优秀人才同行，你将与行业顶尖的大模型研究员及机器人领域专家并肩作战，共同攻克具身智能的技术难点。

具身智能是通往通用人工智能（AGI）的“最后一块拼图”，也是将AI从数字世界（Digital World）引入物理世界（Physical World）的关键枢纽。真正的智能不应仅存在于对话框中，而应具备理解物理法则、感知复杂环境并执行精准操作的能力。本课题致力于打造世界一流的具身智能团队，构建统一的感知-决策-控制底层架构。我们探索将视觉、语言与动作指令深度耦合，赋予机器人像人类一样“看懂世界、预判未来、灵活操作、自然交互”的原生能力，挑战物理世界中的复杂长程任务，推动具身智能从实验室走向千家万户。 具体地，我们关注如下研究方向： 1.具身大模型感知与决策：探索构建端到端（End-to-End）的Vision-Language-Action（VLA）大模型。研究如何将海量互联网多模态数据与机器人异构动作数据进行统一表征预训练，提升模型在开放场景下的零样本任务泛化能力，实现从高层逻辑推理到底层电机控制指令的平滑映射。 2.物理世界模型与因果推理：研究基于生成式架构的物理世界模型，使机器人能够通过视频生成或状态预测“预判”行动后果。探索如何在大模型中建模物理定律（重力、摩擦、刚性/流体等），通过想象进行自监督学习和虚拟进化，解决物理实验数据稀缺与长尾场景模拟的难题。 3.视觉语义导航与长程规划：针对大尺度、动态变化的未知环境，研究结合常识推理的视觉语言导航（VLN）技术。利用大语言模型的逻辑链（CoT）能力，将复杂的模糊指令分解为可执行的动作序列，解决具身智能在复杂物理空间中的定位、语义地图构建及长程任务中的意图保持问题。 4.敏捷运动控制与精细操作：探索强化学习（RL）与大模型结合的全身协同控制方案。包括但不限于：人形机器人的复杂地形敏捷行走、基于触觉-视觉融合的多指灵巧手精细操作。研究如何通过Sim-to-Real技术将大规模仿真学习的策略高效迁移至真实硬件，实现丝滑的物理动作输出。 5.具身人机交互与在线进化：构建自然的自然语言/手势交互界面，使机器人能理解人类的情境、反馈并进行修正。研究基于人类反馈的具身强化学习与示范学习，使智能体能够在与环境、人类互动的过程中实现技能的增量学习与自我迭代。

参与探索具身智能基础模型的架构和范式，从系统架构、数据策略、模型结构、训练策略等角度切入，参与算法研究、系统工程和数据工程，打造具有更强能力和更高潜力的基座模型。 1.多源数据的合成和处理，包括：egocentric video 数据、仿真数据、UMI 采集数据、真机遥操作数据等 2.具身智能系统的架构设计，Agent 系统、大小脑和 Monitor 等多层次结构 3.模型泛化性探索：无需额外训练实现跨本体多任务；基于少量演示数据作为上下文，增强模型能力；基于自动探索，在线学习新技能。 4.模型全流程，预训练、mid train、SFT、强化学习、部署和评测等 同时参与具身智能方向的前沿研究，可根据个人背景和研究兴趣选择以下方向之一深入推进： 1.具身智能相关的仿真环境、资产、场景、任务自动化生成与重建（3D生成/场景理解） 2.仿真环境内的轨迹自动化生成方法（数据引擎/合成数据） 3.egocentric video 数据的有效使用 4.基于多模态大模型的泛化具身智能 Agent 系统研究 5.模型泛化性研究和主动探索研究 6.其他你坚信路线正确的具身智能前沿方向 【为什么是我们】 1.加入美团 LongCat 基座大模型核心团队，直接参与具身智能方向的原创研究，成果可直接产出论文或落地产品； 2.充足的 GPU 算力资源支持，研究不卡资源； 3.多位在 AI、机器人、计算机图形学领域有丰富发表经验的前辈一对一指导，快速成长； 4.追求卓越和鼓励创新的团队氛围。

从多模态大模型基座延伸到具身智能，我们的目标是做到具身智能的“GPT时刻”，具备test-time zero-shot/few-shot的跨本体、跨任务泛化。在这个过程中，我们进行具身智能在泛化能力评测分析和关键迭代路径的探索，包括但不限于 1.探索激发多模态大模型Training-Free泛化能力的Data-Scaling方案（包括VLA和VA），迁移人类数据到具身本体，包括latent action和unified model等方向； 2.探索通过世界模型作为物理仿真引擎的进阶，兼顾仿真和真机的优点，实现泛化评测、强化学习和多样性数据合成； 3.探索通过环境交互的在线强化学习，涉及仿真环境的搭建、数据合成和真机实验，研究通过自我进化的下一代智能提升的关键途径； 【为什么是我们】 一起建立行业评测标杆，推动行业认知进展，代表工作包括： 1.LARYBench 行业首个具身动作表征评测基准，揭示了动作表征的data-scaling潜力和迭代路径。 2.WBench 行业首个统一多轮交互世界模型评测基准，将广义世界模型拉到同一参考空间进行维度全面的度量。 3.UniHetero 行业首个验证生成能促进理解的unified model，以简洁的结构在大规模数据上得到更好的data-scaling趋势。