美团LongCat - 具身算法工程前沿研究
任职要求
1. 在计算机科学或相关领域获得学士、硕士或博士学位。
2. 具备扎实的编程能力、出色的自驱力、快速学习能力和解决问题的能力。
3. 对人工智能、计算机图形学、机器人等…工作职责
在 LongCat 基座大模型团队,参与探索具身智能基础模型的架构和范式,从系统架构、数据策略、模型结构、训练策略等角度切入,参与算法研究、系统工程和数据工程,打造具有更强能力和更高潜力的基座模型。包括: 1. 多源数据的合成和处理,包括:egocentric video 数据、仿真数据、UMI 采集数据、真机遥操作数据等 2. 具身智能系统的架构设计,Agent 系统、大小脑和 Monitor 等多层次结构 3. 模型泛化性探索:无需额外训练实现跨本体多任务;基于少量演示数据作为上下文,增强模型能力;基于自动探索,在线学习新技能。 4. 模型全流程,预训练、mid train、SFT、强化学习、部署和评测等 同时参与具身智能方向的前沿研究,可根据个人背景和研究兴趣选择以下方向之一深入推进: 1. 具身智能模型、数据、训练方法和系统等相关的设计 2. 仿真环境内的轨迹自动化生成方法(数据引擎/合成数据) 3. egocentric video 数据的有效使用 4. 基于多模态大模型的泛化具身智能 Agent 系统研究 5. 模型泛化性研究和主动探索研究 6. 其他你坚信路线正确的具身智能前沿方向
在 LongCat 基座大模型团队,参与探索具身智能基础模型的架构和范式,从系统架构、数据策略、模型结构、训练策略等角度切入,参与算法研究、系统工程和数据工程,打造具有更强能力和更高潜力的基座模型。包括: 1. 多源数据的合成和处理,包括:egocentric video 数据、仿真数据、UMI 采集数据、真机遥操作数据等 2. 具身智能系统的架构设计,Agent 系统、大小脑和 Monitor 等多层次结构 3. 模型泛化性探索:无需额外训练实现跨本体多任务;基于少量演示数据作为上下文,增强模型能力;基于自动探索,在线学习新技能。 4. 模型全流程,预训练、mid train、SFT、强化学习、部署和评测等 同时参与具身智能方向的前沿研究,可根据个人背景和研究兴趣选择以下方向之一深入推进: 1. 具身智能模型、数据、训练方法和系统等相关的设计 2. 仿真环境内的轨迹自动化生成方法(数据引擎/合成数据) 3. egocentric video 数据的有效使用 4. 基于多模态大模型的泛化具身智能 Agent 系统研究 5. 模型泛化性研究和主动探索研究 6. 其他你坚信路线正确的具身智能前沿方向
在 LongCat 基座大模型团队,从事具身方向图形算法相关的研究和工作,从事下述方向至少之一: 1. 具身智能仿真平台的研发。构建自动化的合成数据全流程的系统,包括轨迹生成采样、标注、打分、清洗和验证。同时通过仿真平台进行数据、训练和评测等全链路的研发,贯彻仿真环境在模型生产的全部生命周期。使得模型能够在仿真中快速得到验证,并最终希望应用到物理世界。 2. 具身场景的 3D AIGC 方向研究和落地,关注该领域的前沿进展,对其进行使用、复现和创新。整合已有的三维资产和场景,构建数据集。基于 3D AIGC 技术,在具身智能领域自动化地进行资产、场景和任务的自动生成和重建。为了能够尽可能对物理世界进行近似,需要在生成高质量三维资产的同时,生成高质量的材质和物理参数,对于可交互物体还需还原其结构。 3. 具身智能场景下强化学习框架的研发,进一步地围绕强化学习框架,考虑可能的具身训练新范式,进行比如自主学习等其它的和环境交互的训练框架研发。在这个过程中需要同时考虑仿真平台和训练、推理引擎等模块的计算特性。 基于上述主要方向,可以根据个人兴趣进行相关研究和工作。
1. 参与具身智能大模型方向前沿算法研究,支撑包括具身感知、任务规划、行动与控制在内模块的数据生成、模型训练优化、评测迭代等方面工作。 2. 负责研发任务泛化的端到端操作技术路线,包括VLA架构革新、训练范式优化、真机强化学习等。 3. 跟踪和评估前沿研究进展,维护相关算法框架,开发、集成和优化具身智能系统。 4. 协同工程等团队推动真机部署、大规模数据采集、Sim-to-Real等工作,加速前沿算法落地应用。
LongCat 是美团基础研发自主研发的大模型,覆盖语言、视觉、语音、具身全栈。LongCat 相继推出 LongCat-Flash、LongCat-Flash-Thinking、LongCat-Flash-Omni 等系列模型,正在构建具备世界模型能力的通用智能系统加入团队你将参与如下工作 1. VLA 基座模型演进,探索下一代视觉-语言-动作(VLA)底座,攻克跨本体与跨任务泛化的瓶颈。 2. 世界动作模型(World Action Model, WAM)构建,探索全新的 WAM 核心架构设计,利用视频生成,扩散底座进行时空推演与物理规律自学习,转化为低阶动作序列的最优闭环决策。 3. 具身强化学习, 研发面向复杂长程任务的大规模强化学习框架,提升模型在物理世界中的动态容错与自主策略修正能力。 【为什么是我们】 1.全栈顶配算力支持,依托美团大规模算力集群,提供千卡至万卡级算力支持,具备成熟的分布式训练与低延迟推理优化栈,保障 世界动作模型与 VLA 大规模训练。 2.与优秀人才同行,你将与行业顶尖的大模型研究员及机器人领域专家并肩作战,共同攻克具身智能的技术难点。