小米具身智能算法工程师-数据
任职要求
1. 计算机科学、计算机视觉、机器人学、自动化、人工智能等相关专业硕士及以上学历； 2. 扎实的编程能力，精通 Python，熟悉 C/C++，有大规模数据处理系统开发经验； 3. 在以下方向中的至少一个具备深入的研究或工程经验： -三维重建与场景理解：熟悉 NeRF、3DGS、SfM/MVS、TSDF 等三维重建方法，了解 Open3D、COLMAP 等工具链； -人体与手部建模：熟悉 SMPL/MANO 等参数化人体模型，有动作捕捉数据处理、手部姿态估计、人手…
工作职责
1. 负责具身智能数据平台的搭建与开发，构建覆盖采集、处理、标注、质检全链路的自动化数据管线，支撑大规模机器人学习数据的高效生产； 2. 研发基于三维重建的场景与物体数字化技术（如 NeRF、3D Gaussian Splatting、MVS 等），构建高保真三维资产库，为仿真环境与合成数据生成提供基础数据支撑； 3. 开发人体与手部运动建模系统，涵盖全身动作捕捉、灵巧手姿态估计、人手-物体交互重建等，将人类示范数据高效转化为机器人可用的训练数据； 4. 设计并实现自动化/半自动化标注系统，结合视觉基础模型（SAM、GroundingDINO 等）与主动学习策略，实现操作任务中关键语义信息（动作分割、接触检测、物体状态等）的高效标注； 5. 搭建多模态数据采集系统，集成多视角相机、深度传感器、力/触觉传感器、动捕设备等，设计标准化采集流程，保障数据质量与一致性； 6. 建立数据质量评估与治理体系，开发数据清洗、去重、平衡、增强等工具，构建面向机器人操作任务的高质量 benchmark 数据集； 7. 与算法团队紧密协作，根据模型训练需求（VLA、World Model、RL 等）定义数据规格，推动数据驱动的算法迭代闭环。
我们正在寻找对多模态技术充满热情的算法工程师，加入我们的前沿技术研发团队。您将专注于多模态理解与生成，推动其在地图数据、信息流推荐、打车服务等场景中的落地应用，为用户提供更智能、更沉浸的服务。 主要职责 1、多模态模型研发：开发业界领先的图文多模态理解与生成模型，结合扩散模型（Diffusion Models）、Transformer架构等实现高质量场景理解和动态内容生成。 2、模型优化与性能提升：优化多模态模型的推理速度和计算效率，支持端侧部署。探索适合大模型的压缩与加速技术（包括但不限于量化、剪枝、知识蒸馏等）。 3、业务场景落地：将多模态技术应用于实际业务场景，如地图数据（道路、POI等）、信息流推荐、打车服务等。与产品、工程团队合作，推动技术从研发到上线的全流程落地。 4、前沿技术探索：持续跟踪生成式AI（Generative AI）、跨模态对齐、思维链强化学习、多模态交互、具身智能等最新技术趋势，提出创新性解决方案。
1. 基于 NVIDIA Isaac 的仿真平台开发 ‒ 搭建和维护基于 NVIDIA Isaac Sim 的机器人仿真系统，支持多种机器人类型（例如移动机器人、机械臂、无人车等）。 ‒ 利用 NVIDIA Omniverse 技术，构建高保真的虚拟环境，模拟物理特性（如动力学、传感器特性、碰撞检测等）。 ‒ 开发和优化 Isaac Sim 中的自定义扩展模块，满足项目需求。 2. 环境建模与场景构建 ‒ 使用 NVIDIA Omniverse 和其他建模工具（如 Blender、Maya）创建逼真的仿真环境和场景。 ‒ 配置和调试虚拟传感器（如激光雷达、摄像头、IMU）以模拟真实硬件行为。 ‒ 构建动态交互场景，用于测试机器人在复杂环境中的性能。 3. 机器人控制与算法验证 ‒ 在仿真环境中集成和测试机器人算法（如SLAM、路径规划、运动控制）。 ‒ 验证和优化机器人感知算法（如视觉检测、环境感知）在高保真模拟环境中的效果。 ‒ 通过仿真结果分析算法性能，为实际机器人实施提供支持。 4. 系统集成与工具链开发 ‒ 与机器人硬件和软件团队合作，将仿真结果与实际机器人验证无缝对接。 ‒ 开发自动化测试工具和数据可视化分析工具，提高开发效率和数据洞察能力。 ‒ 集成 Isaac 与其他机器人框架（如 ROS/ROS 2）以支持全栈开发。 5. 研究与创新 ‒ 研究 NVIDIA Isaac 平台的最新功能和应用场景，将新技术引入仿真系统开发。 ‒ 跟踪机器人仿真领域的前沿技术（如物理引擎优化、AI 模型仿真、数字孪生技术），并应用于项目中。
1. 路径规划 ‒ 开发适用于多种场景（如机器人导航、自动驾驶、无人机等）的路径规划算法； ‒ 实现经典和前沿的全局及局部路径规划方法（如 A*、Dijkstra、RRT、DWA 等），优化路径规划的效率和鲁棒性； ‒ 处理动态环境中的路径生成和调整，解决复杂场景下的避障问题。 2. 行动决策 ‒ 研究并实现具身智能体的行动决策算法，设计任务分解和行为选择的逻辑； ‒ 基于行为树（Behavior Tree）、有限状态机（FSM）等方法，构建模块化的决策框架； ‒ 开发多智能体协作与竞争的行动决策模型，支持复杂交互任务的执行。 3. 强化学习（Reinforcement Learning，RL） ‒ 针对具身智能场景（如机械臂控制、机器人动态避障、导航等），设计强化学习的 reward 函数和训练策略； ‒ 实现主流深度强化学习算法（如 DQN、DDPG、PPO、SAC 等），解决高维连续控制与探索问题； ‒ 优化强化学习模型的收敛速度和鲁棒性，提升算法在实际场景中的表现。 4. 模仿学习（Imitation Learning，IL） ‒ 通过专家示范数据（如轨迹、动作序列）训练智能体，实现模仿人类/智能体行为； ‒ 应用行为克隆（Behavior Cloning, BC）、逆强化学习（Inverse Reinforcement Learning, IRL）等技术解决稀疏奖励问题； ‒ 结合模仿学习与强化学习，提升智能体在复杂任务中的学习和泛化能力。 5. 算法优化与工程实现 ‒ 优化算法的计算效率和资源占用，适配实时性要求 ；‒ 在仿真环境（如 Gazebo、PyBullet、Mujoco 等）和真实设备中验证算法性能； ‒ 配合嵌入式团队完成算法在终端设备上的部署与优化。 6. 技术研究与创新 ‒ 跟踪具身智能领域的前沿算法进展，探索新技术的实际应用； ‒ 研究多模态感知与决策（如视觉、语音、触觉）的融合方法，提升智能体的环境理解与行动能力； ‒ 参与长期自主学习、在线学习和自适应学习系统的设计与开发。
1. 开发自研机器人操作系统，建设开发者平台与生态，包括需求分析、实现、测试、文档等工作 2. 机器人软件系统集成，与算法、硬件团队合作，集成算法、硬件驱动等模块 3. 建设软件研效体系，提升软件研发质量与效率 4. NVDIDA Jetson硬件平台系统与驱动的定制、开发工作