美团LongCat - 具身图形算法工程师
任职要求
1. 在计算机科学或相关领域获得学士、硕士或博士学位。
2. 具备扎实的编程能力、出色的自驱力、快速学习能力和解决问题的能力。
3. 对人工智能、计算机图形学、机器人等…工作职责
在 LongCat 基座大模型团队，从事具身方向图形算法相关的研究和工作，从事下述方向至少之一： 1. 具身智能仿真平台的研发。构建自动化的合成数据全流程的系统，包括轨迹生成采样、标注、打分、清洗和验证。同时通过仿真平台进行数据、训练和评测等全链路的研发，贯彻仿真环境在模型生产的全部生命周期。使得模型能够在仿真中快速得到验证，并最终希望应用到物理世界。 2. 具身场景的 3D AIGC 方向研究和落地，关注该领域的前沿进展，对其进行使用、复现和创新。整合已有的三维资产和场景，构建数据集。基于 3D AIGC 技术，在具身智能领域自动化地进行资产、场景和任务的自动生成和重建。为了能够尽可能对物理世界进行近似，需要在生成高质量三维资产的同时，生成高质量的材质和物理参数，对于可交互物体还需还原其结构。 3. 具身智能场景下强化学习框架的研发，进一步地围绕强化学习框架，考虑可能的具身训练新范式，进行比如自主学习等其它的和环境交互的训练框架研发。在这个过程中需要同时考虑仿真平台和训练、推理引擎等模块的计算特性。 基于上述主要方向，可以根据个人兴趣进行相关研究和工作。
在 LongCat 基座大模型团队，参与探索具身智能基础模型的架构和范式，从系统架构、数据策略、模型结构、训练策略等角度切入，参与算法研究、系统工程和数据工程，打造具有更强能力和更高潜力的基座模型。包括： 1. 多源数据的合成和处理，包括：egocentric video 数据、仿真数据、UMI 采集数据、真机遥操作数据等 2. 具身智能系统的架构设计，Agent 系统、大小脑和 Monitor 等多层次结构 3. 模型泛化性探索：无需额外训练实现跨本体多任务；基于少量演示数据作为上下文，增强模型能力；基于自动探索，在线学习新技能。 4. 模型全流程，预训练、mid train、SFT、强化学习、部署和评测等 同时参与具身智能方向的前沿研究，可根据个人背景和研究兴趣选择以下方向之一深入推进： 1. 具身智能模型、数据、训练方法和系统等相关的设计 2. 仿真环境内的轨迹自动化生成方法（数据引擎/合成数据） 3. egocentric video 数据的有效使用 4. 基于多模态大模型的泛化具身智能 Agent 系统研究 5. 模型泛化性研究和主动探索研究 6. 其他你坚信路线正确的具身智能前沿方向
1. 参与具身智能大模型方向前沿算法研究，支撑包括具身感知、任务规划、行动与控制在内模块的数据生成、模型训练优化、评测迭代等方面工作。 2. 负责研发任务泛化的端到端操作技术路线，包括VLA架构革新、训练范式优化、真机强化学习等。 3. 跟踪和评估前沿研究进展，维护相关算法框架，开发、集成和优化具身智能系统。 4. 协同工程等团队推动真机部署、大规模数据采集、Sim-to-Real等工作，加速前沿算法落地应用。
具身智能是通往通用人工智能（AGI）的“最后一块拼图”，也是将AI从数字世界（Digital World）引入物理世界（Physical World）的关键枢纽。真正的智能不应仅存在于对话框中，而应具备理解物理法则、感知复杂环境并执行精准操作的能力。本课题致力于打造世界一流的具身智能团队，构建统一的感知-决策-控制底层架构。我们探索将视觉、语言与动作指令深度耦合，赋予机器人像人类一样“看懂世界、预判未来、灵活操作、自然交互”的原生能力，挑战物理世界中的复杂长程任务，推动具身智能从实验室走向千家万户。 具体地，我们关注如下研究方向： 1.具身大模型感知与决策：探索构建端到端（End-to-End）的Vision-Language-Action（VLA）大模型。研究如何将海量互联网多模态数据与机器人异构动作数据进行统一表征预训练，提升模型在开放场景下的零样本任务泛化能力，实现从高层逻辑推理到底层电机控制指令的平滑映射。 2.物理世界模型与因果推理：研究基于生成式架构的物理世界模型，使机器人能够通过视频生成或状态预测“预判”行动后果。探索如何在大模型中建模物理定律（重力、摩擦、刚性/流体等），通过想象进行自监督学习和虚拟进化，解决物理实验数据稀缺与长尾场景模拟的难题。 3.视觉语义导航与长程规划：针对大尺度、动态变化的未知环境，研究结合常识推理的视觉语言导航（VLN）技术。利用大语言模型的逻辑链（CoT）能力，将复杂的模糊指令分解为可执行的动作序列，解决具身智能在复杂物理空间中的定位、语义地图构建及长程任务中的意图保持问题。 4.敏捷运动控制与精细操作：探索强化学习（RL）与大模型结合的全身协同控制方案。包括但不限于：人形机器人的复杂地形敏捷行走、基于触觉-视觉融合的多指灵巧手精细操作。研究如何通过Sim-to-Real技术将大规模仿真学习的策略高效迁移至真实硬件，实现丝滑的物理动作输出。 5.具身人机交互与在线进化：构建自然的自然语言/手势交互界面，使机器人能理解人类的情境、反馈并进行修正。研究基于人类反馈的具身强化学习与示范学习，使智能体能够在与环境、人类互动的过程中实现技能的增量学习与自我迭代。
在 LongCat 基座大模型团队，参与探索具身智能基础模型的架构和范式，从系统架构、数据策略、模型结构、训练策略等角度切入，参与算法研究、系统工程和数据工程，打造具有更强能力和更高潜力的基座模型。包括： 1. 多源数据的合成和处理，包括：egocentric video 数据、仿真数据、UMI 采集数据、真机遥操作数据等 2. 具身智能系统的架构设计，Agent 系统、大小脑和 Monitor 等多层次结构 3. 模型泛化性探索：无需额外训练实现跨本体多任务；基于少量演示数据作为上下文，增强模型能力；基于自动探索，在线学习新技能。 4. 模型全流程，预训练、mid train、SFT、强化学习、部署和评测等 同时参与具身智能方向的前沿研究，可根据个人背景和研究兴趣选择以下方向之一深入推进： 1. 具身智能模型、数据、训练方法和系统等相关的设计 2. 仿真环境内的轨迹自动化生成方法（数据引擎/合成数据） 3. egocentric video 数据的有效使用 4. 基于多模态大模型的泛化具身智能 Agent 系统研究 5. 模型泛化性研究和主动探索研究 6. 其他你坚信路线正确的具身智能前沿方向