荣耀机器人具身大模型与数据算法工程师

(负责以下1-2项工作)： 1、设计VLA模型架构，利用具身数据和VLM预训练/后训练，实现数据/模型的迭代和训练策略优化； 2、构建高质量互联网多模态数据及模型训练，提升VLM对物理世界的理解和具身推理能力； 3、负责遥操/动捕的真机数据构建和增强，综合利用具身数据金字塔(真机/合成/互联网数据)，在机器人具身模型算法(模仿学习/强化学习)上验证有效性； 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线； 5、力/触觉和灵巧手数据采集和生成，并在灵巧手操作模型中验证闭环； 6、动作捕捉和重定向：人形动作捕捉，机器人重定向定向，动作模仿。

工程岗位的职责包括以下至少一个或多个方向： 1. 具身机器人应用解决方案研发 （1）参与多模态/具身智能机器人在真实场景中的应用方案设计、系统集成与验证。 （2）搭建端到端具身机器人任务pipeline，包括感知、理解、规划、控制、执行等模块的工程化实现。 （3）推动具身智能大模型能力在机器人实际任务中的落地优化（如操作、导航、交互等）。 2. 具身大模型数据采集与处理 （1）负责机器人数据采集系统搭建，包括传感器标定、采集流程、数据质量控制与自动化工具链。 （2）建设具身大模型训练数据pipeline：数据清洗、切分、标注、同步、增强、格式转换等工程化流程。 （3）参与构建多模态数据集（视频、RGB-D、触觉、关节状态、语言指令等）。 3. 具身大模型云端训练与推理优化 （1）基于GPU/加速器的训练平台优化具身大模型训练性能（并行策略、数据流优化、算子优化）。 （2）负责推理引擎优化，包括模型裁剪、编译器优化、图优化、缓存管理、多线程并发调度等。 （3） 参与构建具身智能模型的训练与推理服务基础设施（MLOps、分布式训练、数据版本管理等）。 4. 端侧模型量化部署与优化 （1）主导端侧模型的压缩、量化（INT8/FP8/混合精度等）、剪枝、蒸馏等部署优化工作。 （2）熟悉ONNXRuntime、TensorRT、TFLite、NPU/DSP编译工具链，进行端侧加加速与算子调优。 （3）推动具身大模型在机器人嵌入式/边缘计算平台上的高效部署。 5. 机器人操作系统与系统优化 （1）优化机器人操作系统（ROS2、RTOS、Linux）性能，包括实时性、通信延迟、资源调度、驱动层稳定性等。 （2）推动机器人软硬件协同优化，包括传感器驱动、控制链路优化、系统级profiling/debugging。 （3）支撑机器人任务的稳定运行与系统级可靠性优化。

1、设计并实现VLA算法方案，以量产落地为导向，熟悉RT-1/2、pi0等主流多模态具身大模型优劣，改善调优； 2、负责机器人具身操作任务的强化学习算法设计、开发和优化； 优化Sim2Real的迁移技术，提高算法鲁棒性；跟踪前沿技术，进行强化学习算法的调研、性能对比和评估； 3、研究多模态学习方法，结合视觉、触觉、力反馈提升机器人决策能力； 包括VLM的训练与微调，实现模型实际场景的落地需求，多模态数据集的构建、清洗等，提升算法性能和决策质量等。

1. 具身智能大模型研究与优化 (1) 研究和构建具身智能大模型（Embodied Foundation Models）与机器人大脑。 (2) 探索语言、视觉、动作等多模态融合机制（VLM / VLA / VLA-Agent）。 (3) 优化模型的长时记忆、推理能力与可泛化性。 2. 机器人智能算法研发 (1) 设计和实现机器人多模态感知、导航、操作、交互等核心算法模块。 (2) 推进大模型驱动的机器人任务规划与决策。 (3) 基于模拟器与真实世界数据，进行大规模对齐与强化学习（Sim2Real, RLHF, Imitation Learning）。 3. 系统落地与协同研发 (1) 与硬件与系统团队协作，推动模型算法在真实机器人平台上的部署与性能调优。 (2) 支撑具身智能大模型的云端训练体系、数据闭环与MLOps工程。 (3) 发表高水平论文或申请相关专利，推动业界与学界前沿研究。