小米具身智能算法工程师-数据
任职要求
1. 计算机科学、计算机视觉、机器人学、自动化、人工智能等相关专业硕士及以上学历； 2. 扎实的编程能力，精通 Python，熟悉 C/C++，有大规模数据处理系统开发经验； 3. 在以下方向中的至少一个具备深入的研究或工程经验： -三维重建与场景理解：熟悉 NeRF、3DGS、SfM/MVS、TSDF 等三维重建方法，了解 Open3D、COLMAP 等工具链； -人体与手部建模：熟悉 SMPL/MANO 等参数化人体模型，有动作捕捉数据处理、手部姿态估计、人手…
工作职责
1. 负责具身智能数据平台的搭建与开发，构建覆盖采集、处理、标注、质检全链路的自动化数据管线，支撑大规模机器人学习数据的高效生产； 2. 研发基于三维重建的场景与物体数字化技术（如 NeRF、3D Gaussian Splatting、MVS 等），构建高保真三维资产库，为仿真环境与合成数据生成提供基础数据支撑； 3. 开发人体与手部运动建模系统，涵盖全身动作捕捉、灵巧手姿态估计、人手-物体交互重建等，将人类示范数据高效转化为机器人可用的训练数据； 4. 设计并实现自动化/半自动化标注系统，结合视觉基础模型（SAM、GroundingDINO 等）与主动学习策略，实现操作任务中关键语义信息（动作分割、接触检测、物体状态等）的高效标注； 5. 搭建多模态数据采集系统，集成多视角相机、深度传感器、力/触觉传感器、动捕设备等，设计标准化采集流程，保障数据质量与一致性； 6. 建立数据质量评估与治理体系，开发数据清洗、去重、平衡、增强等工具，构建面向机器人操作任务的高质量 benchmark 数据集； 7. 与算法团队紧密协作，根据模型训练需求（VLA、World Model、RL 等）定义数据规格，推动数据驱动的算法迭代闭环。
1. 路径规划 ‒ 开发适用于多种场景（如机器人导航、自动驾驶、无人机等）的路径规划算法； ‒ 实现经典和前沿的全局及局部路径规划方法（如 A*、Dijkstra、RRT、DWA 等），优化路径规划的效率和鲁棒性； ‒ 处理动态环境中的路径生成和调整，解决复杂场景下的避障问题。 2. 行动决策 ‒ 研究并实现具身智能体的行动决策算法，设计任务分解和行为选择的逻辑； ‒ 基于行为树（Behavior Tree）、有限状态机（FSM）等方法，构建模块化的决策框架； ‒ 开发多智能体协作与竞争的行动决策模型，支持复杂交互任务的执行。 3. 强化学习（Reinforcement Learning，RL） ‒ 针对具身智能场景（如机械臂控制、机器人动态避障、导航等），设计强化学习的 reward 函数和训练策略； ‒ 实现主流深度强化学习算法（如 DQN、DDPG、PPO、SAC 等），解决高维连续控制与探索问题； ‒ 优化强化学习模型的收敛速度和鲁棒性，提升算法在实际场景中的表现。 4. 模仿学习（Imitation Learning，IL） ‒ 通过专家示范数据（如轨迹、动作序列）训练智能体，实现模仿人类/智能体行为； ‒ 应用行为克隆（Behavior Cloning, BC）、逆强化学习（Inverse Reinforcement Learning, IRL）等技术解决稀疏奖励问题； ‒ 结合模仿学习与强化学习，提升智能体在复杂任务中的学习和泛化能力。 5. 算法优化与工程实现 ‒ 优化算法的计算效率和资源占用，适配实时性要求 ；‒ 在仿真环境（如 Gazebo、PyBullet、Mujoco 等）和真实设备中验证算法性能； ‒ 配合嵌入式团队完成算法在终端设备上的部署与优化。 6. 技术研究与创新 ‒ 跟踪具身智能领域的前沿算法进展，探索新技术的实际应用； ‒ 研究多模态感知与决策（如视觉、语音、触觉）的融合方法，提升智能体的环境理解与行动能力； ‒ 参与长期自主学习、在线学习和自适应学习系统的设计与开发。
1、负责机器人多模态大模型（VLA模型）的工程化落地，包括预训练开发、模型微调、训练优化以及实际效果调优； 2、参与基于大模型的机器决策控制工程化工作，包括训练框架搭建、数据集处理、算力部署，以及在真机上的部署与测试； 3、优化大模型的训练效率以及资源利用率，熟练运用诸如模型并行、Flash Attention、LoRA等技术； 4、负责云端数据处理以及分布式训练落地，优化大模型的多模态任务处理能力； 5、跟进多模态大模型与具身智能的前沿应用进展，负责模型在机器人场景的部署与技术转化。
1. 开发并优化货架容器 2D/3D 识别、定位与姿态估计算法，输出高鲁棒抓取位姿。 2. 机械臂运动学/动力学建模及逆解求解；轨迹规划与实时优化算法，抓取策略及柔顺控制算法开发。 3. 研发手眼标定、闭环视觉伺服与多传感器融合算法。 4. 引入并部署基于Autoregressive/Diffusion Models/VLA的端到端具身智能模型（如 RT series、π0、octo）。 5. 探索 Diffusion Policy、Imitation Learning、Reinforcement Learning等前沿方法，实现从视觉到动作的自监督或弱监督学习。 6. 搭建大规模数据采集、自动标注和自回放管线（Data Flywheel），持续迭代模型并进行线上 A/B 性能监控。 7. 与运动控制、系统集成团队密切协作，完成算法量化部署、边缘推理加速及实时监控告警。
该岗位分3个方向，请同学们仔细阅读岗位JD，选择适合自己的方向进行投递。 【机器人算法工程师】（规划&控制方向） 职位描述： 1、负责机器人运动学、动力学建模，并实现机器人运动或者路径规划，运动控制等算法； 2、有机器人导航， 机械手臂抓取， 液压控制等相关机器人项目经验； 3、对接硬件、产品等职能同事，实现机器人整体功能的实现和调试； 4、负责算法的优化、移植和产品化。 【机器人算法工程师】（感知&建模方向） 职位描述： 1、负责工程机械智能化场景中基于深度学习激光雷达点云的3D目标检测、分割、跟踪等算法的研发及迭代优化； 2、参与工程机械智能化项目中的感知研发，开发并优化适用于复杂工况（如施工场景、恶劣天气条件）的点云处理和感知算法。 3、推动感知算法在工程机械智能化产品中的落地与优化提升，确保算法的高效运行和实时性； 4、结合工程机械的实际需求，对激光雷达点云数据进行预处理、特征提取和分析，为后续的感知任务提供高质量的数据支持； 5、参与多传感器融合算法的研发，探索激光雷达与其他传感器（如摄像头、IMU等）的协同工作模式，提高工程机械的环境感知能力； 6、跟踪和研究点云感知领域的最新技术动态，将其应用到实际项目中，保持公司技术的领先性。 【机器人算法工程师】（具身智能方向） 职位描述： 1、深入研究机器人多模态大模型（VLA模型）的理论及应用，包括预训练、微调策略、以及效果优化； 2、负责基于大模型的决策控制算法设计，探索前沿模仿学习（如 ACT、DP）及 Model-Based RL 算法在机器人上的研究与创新； 3、基于大模型开发创新算法框架，探索具身智能机器人实际场景中的应用方向，如 RT 系列等； 4、负责最新文献调研，跟踪多模态模型与机器人领域结合的技术前沿，提出具有创新性的研究思路； 5、参与并主导自定义数据集构建、特定任务的模型训练与评估； 6、推动具身智能系统算法在复杂场景下的理论研究，探索工程机械场景智能化解决方案。