理想汽车【人形机器人】算法研发工程师-VLA
任职要求
1. 计算机、AI、机器人相关专业,本科及以上学历;
2. 熟悉多模态模型/行为克隆/序列建模(Transformer等),具备训练…工作职责
1. 负责VLA(Vision-Language-Action)模型研发与落地,实现从视觉与语言指令到动作/技能的生成与调度; 2. 设计动作表示与对齐方案(action token、trajectory chunk、skill token等),并与控制侧接口打通; 3. 构建训练数据配方(示教、遥操作、日志回放、合成数据),提升泛化与可迁移性; 4. 推动多任务训练、长时序任务建模与工具使用能力(技能库、状态机/规划器协同); 5. 制定VLA离线/在线评测指标与回归集,持续优化成功率、稳定性与安全边界。
1. 负责机器人全身运动控制算法的研究与开发,包括运动学、动力学建模与仿真; 2. 开发基于强化学习、模型预测控制(MPC)、全身体动力学控制(WBC)等先进算法,实现机器人在复杂环境下的稳定运动; 3. 设计并优化全身运动规划算法,确保双臂、腿部、躯干、头部等部位的协调运动; 4. 使用仿真环境(如ROS2、Gazebo、MuJoCo等)进行算法测试,涵盖多种应用场景; 5. 在机器人上完成实验验证,确保算法在实际机器人上能够稳定运行; 6. 与机械、电气、感知等团队紧密协作,完成控制算法与硬件系统的集成测试; 7. 协助协调软件与硬件接口,确保数据流高效和实时性能达标; 8. 跟踪和研究机器人运动控制领域的前沿技术,如深度强化学习、模仿学习等,并将其应用于全身运动控制; 9. 参与前沿控制技术预研,对相关技术成果资料进行查阅、整理及归纳; 10. 发现和解决算法开发过程中出现的技术问题,根据机器人运动特性提出建设性意见和改进方向; 11. 对机器人运动数据进行采集、分析和评估,持续改进运动控制算法。
1. 人形具身控制模型研发:参与人形机器人通用动作控制模型的设计与训练,支持动捕、视频、文本等多模态输入,实现多样化运动能力的统一生成。 2. Sim2Real迁移优化:负责仿真环境到真机的部署调试,优化策略以解决抖动问题,提升新动作 Zero-shot 执行的成功率稳定性。 3. 大小脑协同探索:协助构建 Loco-manipulation一体化解决方案,实现大脑与小脑模型的高效协同。
运动控制开发: 参与构建人形机器人通用运控跟踪器,实现高动态行为的稳定执行。 与基于 Diffusion 的轨迹生成器协同工作,赋予机器人日常运动与操控能力(如行走、转向、平衡调整)。 专项技能研发: 开发机器人特定技能:物体抓取与搬运、球类运动、开关门等常见交互任务。 要求算法具备快速决策与高效执行能力,确保在动态环境中的稳健表现。 数据与部署链路: 参与人形机器人遥操作数据采集、仿真数据生成及人体动作数据的重定向处理。 打通从 数据→仿真→训练→部署 的完整研发链路,推动算法在实机上的优化与落地。
“理想+”是理想汽车面向全球顶尖技术人才的校园招聘计划。我们期待你的加入,与理想汽车一起成长、分享收获,通过人工智能技术去改变物理世界的效率和体验,造福我们服务的每一个家庭,以及家庭里的每一位成员。 【本岗位的主要工作内容】 1. 核心算法研发:负责具身智能大模型(VLA,即视觉语言行动模型)的核心算法设计与优化,重点突破多模态指令理解、复杂任务决策、长时序动作规划等关键技术,推动模型在真实机器人场景下的零样本/少样本泛化能力; 2. 端到端模型与系统设计:主导机器人端到端感知-决策-控制一体化模型的研究与落地,探索扩散策略、世界模型、强化学习等前沿技术在具身智能系统中的融合应用,实现从仿真到现实(Sim2Real)的高效迁移; 3. 数据驱动模型闭环:设计并构建大规模、高质量的多模态数据(视频、力觉、触觉、文本)采集、清洗、标注与仿真生成pipeline,主导数据-模型联合迭代优化,解决长尾分布与数据稀缺问题; 4. 仿真与真实世界对齐:负责高保真仿真环境的动力学建模、场景生成与传感器仿真,研究领域随机化与领域自适应技术,缩小仿真与现实之间的差距,提升模型在真实物理世界的部署性能; 5. 前沿技术探索与转化:跟踪并引领具身智能、机器人学、计算机视觉、自然语言处理交叉领域的前沿技术动态,主导关键技术难点的攻关,发表高水平论文并申请核心发明专利,推动研究成果向实际产品的技术转化。 【技术课题】 下一代具身智能大脑研究