荣耀机器人具身大模型与数据算法工程师
任职要求
1、电子信息、计算机、模式识别、自动化、人工智能等相关专业; 2、具有一项或多项如下专业技能:熟悉具身模型结构和算法(ACT/DP/VLA),模仿学习和强化学习训练策略,多模态VLM数据和算法,掌握机器人仿真环境(如Isaa…
工作职责
(负责以下1-2项工作): 1、设计VLA模型架构,利用具身数据和VLM预训练/后训练,实现数据/模型的迭代和训练策略优化; 2、构建高质量互联网多模态数据及模型训练,提升VLM对物理世界的理解和具身推理能力; 3、负责遥操/动捕的真机数据构建和增强,综合利用具身数据金字塔(真机/合成/互联网数据),在机器人具身模型算法(模仿学习/强化学习)上验证有效性; 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线; 5、力/触觉和灵巧手数据采集和生成,并在灵巧手操作模型中验证闭环; 6、动作捕捉和重定向:人形动作捕捉,机器人重定向定向,动作模仿。
(负责以下1-2项工作): 1、设计VLA模型架构,利用具身数据和VLM预训练/后训练,实现数据/模型的迭代和训练策略优化; 2、构建高质量互联网多模态数据及模型训练,提升VLM对物理世界的理解和具身推理能力; 3、负责遥操/动捕的真机数据构建和增强,综合利用具身数据金字塔(真机/合成/互联网数据),在机器人具身模型算法(模仿学习/强化学习)上验证有效性; 4、基于Isaac sim/MuJoCo等仿真平台构建Real2Sim2Real数据合成管线; 5、力/触觉和灵巧手数据采集和生成,并在灵巧手操作模型中验证闭环; 6、动作捕捉和重定向:人形动作捕捉,机器人重定向定向,动作模仿。
1、设计并实现VLA算法方案,以量产落地为导向,熟悉RT-1/2、pi0等主流多模态具身大模型优劣,改善调优; 2、负责机器人具身操作任务的强化学习算法设计、开发和优化; 优化Sim2Real的迁移技术,提高算法鲁棒性;跟踪前沿技术,进行强化学习算法的调研、性能对比和评估; 3、研究多模态学习方法,结合视觉、触觉、力反馈提升机器人决策能力; 包括VLM的训练与微调,实现模型实际场景的落地需求,多模态数据集的构建、清洗等,提升算法性能和决策质量等。
1. 具身智能大模型研究与优化 (1) 研究和构建具身智能大模型(Embodied Foundation Models)与机器人大脑。 (2) 探索语言、视觉、动作等多模态融合机制(VLM / VLA / VLA-Agent)。 (3) 优化模型的长时记忆、推理能力与可泛化性。 2. 机器人智能算法研发 (1) 设计和实现机器人多模态感知、导航、操作、交互等核心算法模块。 (2) 推进大模型驱动的机器人任务规划与决策。 (3) 基于模拟器与真实世界数据,进行大规模对齐与强化学习(Sim2Real, RLHF, Imitation Learning)。 3. 系统落地与协同研发 (1) 与硬件与系统团队协作,推动模型算法在真实机器人平台上的部署与性能调优。 (2) 支撑具身智能大模型的云端训练体系、数据闭环与MLOps工程。 (3) 发表高水平论文或申请相关专利,推动业界与学界前沿研究。