
地平线机器人操作仿真实习生(仿真 VLA Benchmark方向)
任职要求
1、熟悉 curobo,有实际使用经验或二次开发经验 2、有 Isaac Sim / IsaacLab 使用经验,了解其仿真流程与 API 3、熟悉 VLA 模型在仿真中的评测流程,理解任务定义、指标设计与结果分析 4、具备良好的 工程代码能力,熟练使用 Python(有 C++ / CUDA 经验加分) 5、熟悉 Linux 开发环境,具备基本的调试与性能分析能力 加分项 - …
工作职责
1、基于Isaac Sim / IsaacLab 进行机器人任务仿真环境构建与维护 2、参与仿真数据合成与数据管线优化 3、搭建VLA模型的仿真评测流程,参与 benchmark 设计与实现 4、与算法/模型团队协作,定位仿真与真实行为之间的差异
1. 具身多模态基础模型架构研究: 构建面向机器人的多模态基础模型,将视觉语言模型与机器人中心的物理世界理解与决策深度融合,研究可泛化的(力/触觉)-视觉-语言-状态-动作统一建模和训练方法(包括但不限于:tokenization/latent action/world modeling等技术);探索“感知-记忆-规划-控制”的端到端或模块化建模和训练范式;研究统一操作,规划,导航等多决策场景统一的建模和训练范式;探索面向长时程任务(系统辨识、历史状态记忆、失败恢复等)的决策。 2. 大规模具身数据构建与训练方法研究:构建可扩展的数据处理管线;研究多数据源的可拓展、高鲁棒使用方法和混合训练方法,包括真机摇操数据、人类视频数据、UMI数据、VQA数据等;探索基于Sim2Real/Real2Sim的数据增强和混合训练技术;建立数据质量评估与采样策略(覆盖度、难度分层、长尾任务挖掘等)。 3. 具身基础模型测评基准与自动化评测系统研究:定义覆盖关键能力和关键场景的有代表性的Benchmark,包括指令理解、物体识别与定位、抓取与操作、导航、工具使用、长任务规划、失败恢复等能力覆盖,厨房、商超、酒旅、户外、工厂等场景覆盖;研究构建高效、可靠、可复现的评测流水线和可用于迭代的指标体系。 4. 高效率、高可靠推理系统研究:将模型在真实机器人平台和主流仿真平台中部署验证,针对延迟、稳定性、安全与可恢复性做工程化增强,研究一套适配具身场景的大规模基础模型端侧/云边协同的推理框架和适配于强化学习训练得推理框架。

1.参与具身智能操作基座模型的研发,通过设计创新的VLA、WA等算法,构建行业领先的通用操作能力。 2.跟踪具身智能、机器人通用操作领域国际顶会顶刊最新研究动态,挖掘创新技术方向与落地场景,提出可落地的技术解决方案,持续优化算法性能与模型泛化能力

1.参与具身智能操作基座模型的研发,通过设计创新的VLA、WA等算法,构建行业领先的通用操作能力。 2.跟踪具身智能、机器人通用操作领域国际顶会顶刊最新研究动态,挖掘创新技术方向与落地场景,提出可落地的技术解决方案,持续优化算法性能与模型泛化能力