小米具身智能算法工程师-模型
任职要求
1. 计算机、人工智能、自动化、机器人等相关专业,硕士及以上学历(博士优先); 2. 具备扎实的深度学习理论基础,熟练掌握 PyTorch 等主流框架,有大模型训练与调优经验者优先; 3. 熟悉Gr00t和PI等系列经典VLA操作模型相关工作,对 VLM 与机器人控制的结合有深入理解; 4. 了解强化学习基…
工作职责
1. 负责面向机器人操作任务的端到端模型研发,探索 Vision-Language-Action(VLA)模型在灵巧操作、长序列任务规划中的应用,推动通用操作策略的落地; 2. 开展 World Model 相关研究,构建面向机器人操作的环境预测与动态建模能力,提升策略的泛化性和样本效率; 3. 研究基于强化学习的高自由度灵巧手控制方法,包括 PPO、SAC、IQL等主流 RL 方法,探索仿真到真实的 Sim-to-Real 迁移技术; 4. 负责大规模模型的训练基础设施搭建与优化,包括分布式训练、混合精度、推理加速及部署上线; 5. 持续跟踪具身智能、操作学习、基础模型等领域的前沿进展,推动技术复现、改进与工程化落地。

视觉大模型方向: 1、 协调上层应用需求到机器视觉算法的整体架构; 2、 实现机器人基于3D视觉的双臂抓取方案,落地在照片、水杯等常规物体的视觉抓取任务中: 3、带领算法团队进行传统机器人视觉到端到端视觉大模型的技术演进,并落地在双臂协同抓取任务; 导航定位方向: 1、 负责机器人基于LIDAR的导航与定位算法研究与实现,并支持机器人业务中导航的需求; 2、负责单线和多线LIDAR的开发,SLAM 算法、多传感器融合算法、3D点云、3D场景重建等 3、负责无地图导航算法研究、自主实时建图方案研究; 4、实现高精度的地图更新; 机器人操作系统方向: 1、从事移动机器人系统的设计和研发,不限于底盘、四足、双足等形态;设计机械结构,硬件结构、并具备-定嵌入式开发经验: 2、具备机器人硬件开发经验,实现对关节电机的控制、实现与相机和雷达的通信: 3、熟悉运动控制算法,利用动捕收集步态数据,并通过强化学习和模仿学习实现机器人运动控制: 双臂方向 1、复现开源的双臂机器人扩散大模型RDT,并完成数据采集、模型训练、优化等功能: 2、设计触觉反馈传感器,并用于灵巧手,实习灵巧手的触党反馈: 3参与机器人架构设计、零部件选型、算法方案设计: 运动控制方向: 1.设计、 开发、实现和优化智能机械管的控制算法, 提高机械臂的智能性和学习能力。 2、研究机器人的智能控制模型,理解机器人的知、推理、学习和行为规划等机制。 3、在等机器人软件平台上开发机器人的控制和规划程序,并在Linux系统下进行软件开发和调试。 4、与其他团队成员合作,集成机器人和其他智能设备的功能,实现智能化的生产流程。
1、负责机器人多模态大模型(VLA模型)的工程化落地,包括预训练开发、模型微调、训练优化以及实际效果调优; 2、参与基于大模型的机器决策控制工程化工作,包括训练框架搭建、数据集处理、算力部署,以及在真机上的部署与测试; 3、优化大模型的训练效率以及资源利用率,熟练运用诸如模型并行、Flash Attention、LoRA等技术; 4、负责云端数据处理以及分布式训练落地,优化大模型的多模态任务处理能力; 5、跟进多模态大模型与具身智能的前沿应用进展,负责模型在机器人场景的部署与技术转化。
1、负责机器人多模态大模型(VLA模型)的工程化落地,包括预训练开发、模型微调、训练优化以及实际效果调优; 2、参与基于大模型的机器决策控制工程化工作,包括训练框架搭建、数据集处理、算力部署,以及在真机上的部署与测试; 3、优化大模型的训练效率以及资源利用率,熟练运用诸如模型并行、Flash Attention、LoRA等技术; 4、负责云端数据处理以及分布式训练落地,优化大模型的多模态任务处理能力; 5、跟进多模态大模型与具身智能的前沿应用进展,负责模型在机器人场景的部署与技术转化。
