美团【基座大模型北斗实习】具身智能系统与开放物理世界探索能力研究
任职要求
1、硕士及以上学历,计算机或相关专业,博士优先; 2、在 ML / NLP / RL / CV / Speech 等相关方向有扎实的研究基础,在 ACL / EMNLP / NAACL / NeurIPS / ICML / ICLR / CVPR / ICCV / ICASSP 等顶…
工作职责
简介:从多模态大模型基座延伸到具身智能,我们的目标是做到具身智能的“GPT时刻”,具备test-time zero-shot/few-shot的跨本体、跨任务泛化。在这个过程中,我们进行具身智能在泛化能力评测分析和关键迭代路径的探索,包括但不限于: 1、探索激发多模态大模型Training-Free泛化能力的Data-Scaling方案(包括VLA和VA),迁移人类数据到具身本体,包括latent action和unified model等方向。 2、探索通过世界模型作为物理仿真引擎的进阶,兼顾仿真和真机的优点,实现泛化评测、强化学习和多样性数据合成。 3、探索通过环境交互的在线强化学习,涉及仿真环境的搭建、数据合成和真机实验,研究通过自我进化的下一代智能提升的关键途径。
简介:具身智能是通往通用人工智能(AGI)的“最后一块拼图”,也是将AI从数字世界(Digital World)引入物理世界(Physical World)的关键枢纽。真正的智能不应仅存在于对话框中,而应具备理解物理法则、感知复杂环境并执行精准操作的能力。 本课题致力于打造世界一流的具身智能团队,构建统一的感知-决策-控制底层架构。我们探索将视觉、语言与动作指令深度耦合,赋予机器人像人类一样“看懂世界、预判未来、灵活操作、自然交互”的原生能力,挑战物理世界中的复杂长程任务,推动具身智能从实验室走向千家万户。 具体地,我们关注如下研究方向: 1、具身大模型感知与决策:探索构建端到端(End-to-End)的Vision-Language-Action(VLA)大模型。研究如何将海量互联网多模态数据与机器人异构动作数据进行统一表征预训练,提升模型在开放场景下的零样本任务泛化能力,实现从高层逻辑推理到底层电机控制指令的平滑映射。 2、物理世界模型与因果推理:研究基于生成式架构的物理世界模型,使机器人能够通过视频生成或状态预测“预判”行动后果。探索如何在大模型中建模物理定律(重力、摩擦、刚性/流体等),通过想象进行自监督学习和虚拟进化,解决物理实验数据稀缺与长尾场景模拟的难题。 3、视觉语义导航与长程规划:针对大尺度、动态变化的未知环境,研究结合常识推理的视觉语言导航(VLN)技术。利用大语言模型的逻辑链(CoT)能力,将复杂的模糊指令分解为可执行的动作序列,解决具身智能在复杂物理空间中的定位、语义地图构建及长程任务中的意图保持问题。 4、敏捷运动控制与精细操作:探索强化学习(RL)与大模型结合的全身协同控制方案。包括但不限于:人形机器人的复杂地形敏捷行走、基于触觉-视觉融合的多指灵巧手精细操作。研究如何通过Sim-to-Real技术将大规模仿真学习的策略高效迁移至真实硬件,实现丝滑的物理动作输出。 5、具身人机交互与在线进化:构建自然的自然语言/手势交互界面,使机器人能理解人类的情境、反馈并进行修正。研究基于人类反馈的具身强化学习与示范学习,使智能体能够在与环境、人类互动的过程中实现技能的增量学习与自我迭代。
简介:参与具身智能方向的前沿研究,可根据个人背景和研究兴趣选择以下方向之一深入推进: 1、具身智能相关的仿真环境、资产、场景、任务自动化生成与重建(3D生成/场景理解)。 2、仿真环境内的轨迹自动化生成方法(数据引擎/合成数据)。 3、基于多模态大模型的泛化具身智能 Agent 系统研究。 4、Training-free的基于few-shot的具身智能大模型研究。 5、多模态大模型的多视角空间感知与主动探索能力研究。 6、其他你坚信路线正确的具身智能前沿方向。
简介:Coding是当前 AI 技术落地最快、商业价值最大的方向之一。从代码补全到自主修复 GitHub Issue、到端到端软件工程自动化,大模型 Coding 能力的突破正在重塑整个软件开发范式。我们正在构建下一代具有强大代码生成与自主 Agent 能力的基座模型,打造可在真实工程环境中独立运作的 AI 开发者。 岗位职责 1、负责基座大模型在代码生成、代码理解、代码 debug 等方向的能力研究与提升,提升模型在Coding任务中的 Planning、长上下文理解等核心能力。 2、探索模型在 repo 级代码理解、跨文件修改、自主 debug 等复杂任务上的能力边界。 3、参与 Post-training(SFT / RL/ PRM)等 Alignment 方法在 Coding 场景的研究与落地。
简介:研发下一代自动化研究智能体系统,专注于提升模型在长周期、高价值复杂任务中的自主执行能力,减少对人类指导的依赖。 1、自动化研究场景下的大模型能力建设,提升模型在复杂任务分解、长程推理、研究规划、工具使用、代码生成与执行、证据整合与研究写作等方面的能力。 2、长程任务中的上下文组织与记忆管理,设计优化 context scaling、context compression、memory selection、状态追踪与长期依赖建模,提升模型在复杂研究任务中的上下文利用效率与稳定性。 3、自主研究任务相关环境与自动实验闭环建设,构建 search、browser、retrieval、code execution、verifier 等训练与评测环境,打通训练脚本迭代、实验编排、结果比对、版本保留/回滚与复现验证流程。 4、训练策略、数据配方与反馈信号设计,围绕 SFT、RLVR等方法,结合数据构造、数据清洗、超参数优化以及 outcome-level / process-level 信号设计,提升模型在开放研究任务中的完成率、事实正确性和稳定性。 5、面向真实 research 任务的评测体系与错误分析闭环建设,建立 benchmark、自动化评测指标,系统分析搜索遗漏、证据误判、上下文污染、推理漂移、错误归因与长链路失稳等问题,并推动针对性优化。