
智能互联通义实验室-具身智能大模型与机器人工程专家-北京/杭州
任职要求
1. 计算机、自动化、机器人等相关专业本科及以上学历。 2. 熟悉机器人系统架构(感知一规划—控制)或具身大模型工程体系。 3. 熟练掌握C++/Python,具备扎实的工程实现能力。 4. 具备至少以下任意两类经验: (1)机器人系统工程或应用开发。 (2)多模态/具身数据采集与数据工程。 (3)大模型训练、推理优化、系统加速。 (4)端侧模型部署、量化、编…
工作职责
工程岗位的职责包括以下至少一个或多个方向: 1. 具身机器人应用解决方案研发 (1)参与多模态/具身智能机器人在真实场景中的应用方案设计、系统集成与验证。 (2)搭建端到端具身机器人任务pipeline,包括感知、理解、规划、控制、执行等模块的工程化实现。 (3)推动具身智能大模型能力在机器人实际任务中的落地优化(如操作、导航、交互等)。 2. 具身大模型数据采集与处理 (1)负责机器人数据采集系统搭建,包括传感器标定、采集流程、数据质量控制与自动化工具链。 (2)建设具身大模型训练数据pipeline:数据清洗、切分、标注、同步、增强、格式转换等工程化流程。 (3)参与构建多模态数据集(视频、RGB-D、触觉、关节状态、语言指令等)。 3. 具身大模型云端训练与推理优化 (1)基于GPU/加速器的训练平台优化具身大模型训练性能(并行策略、数据流优化、算子优化)。 (2)负责推理引擎优化,包括模型裁剪、编译器优化、图优化、缓存管理、多线程并发调度等。 (3) 参与构建具身智能模型的训练与推理服务基础设施(MLOps、分布式训练、数据版本管理等)。 4. 端侧模型量化部署与优化 (1)主导端侧模型的压缩、量化(INT8/FP8/混合精度等)、剪枝、蒸馏等部署优化工作。 (2)熟悉ONNXRuntime、TensorRT、TFLite、NPU/DSP编译工具链,进行端侧加加速与算子调优。 (3)推动具身大模型在机器人嵌入式/边缘计算平台上的高效部署。 5. 机器人操作系统与系统优化 (1)优化机器人操作系统(ROS2、RTOS、Linux)性能,包括实时性、通信延迟、资源调度、驱动层稳定性等。 (2)推动机器人软硬件协同优化,包括传感器驱动、控制链路优化、系统级profiling/debugging。 (3)支撑机器人任务的稳定运行与系统级可靠性优化。
1.技术与系统架构:负责具身智能与机器人系统的整体架构设计,并主导机器人平台化(硬件模块、控制栈、感知栈)与大模型平台化(数据、训练、推理)的统一设计。 2.具身智能大模型工程:建设数据体系,协同科研模型算法团队推进具身大模型训练,协同、调用云平台搭建面向具身场景的大规模训练与分布式基础设施。 3.端侧模型推理部署:负责将具身智能模型在机器人端侧部署,并结合机器人计算资源进行软硬件协同优化。 4.机器人系统落地与工程交付:主导机器人在各类场景的落地与项目交付;负责从需求拆解、系统集成、工程实现、测试验证到交付运营的全流程工程管理;协调与供应链、ODM/OEM、硬件厂商的技术对接,以及机器人产业上下游的合作。 5.团队管理与跨部门协作:管理多学科工程团队,建立工程和研发流程(CI/CD、QA、仿真体系、回归测试、可靠性验证),并与产品、科研、算法、行业解决方案和 BD 团队紧密协作推进关键项目落地。

1. 具身智能大模型研究与优化 (1) 研究和构建具身智能大模型(Embodied Foundation Models)与机器人大脑。 (2) 探索语言、视觉、动作等多模态融合机制(VLM / VLA / VLA-Agent)。 (3) 优化模型的长时记忆、推理能力与可泛化性。 2. 机器人智能算法研发 (1) 设计和实现机器人多模态感知、导航、操作、交互等核心算法模块。 (2) 推进大模型驱动的机器人任务规划与决策。 (3) 基于模拟器与真实世界数据,进行大规模对齐与强化学习(Sim2Real, RLHF, Imitation Learning)。 3. 系统落地与协同研发 (1) 与硬件与系统团队协作,推动模型算法在真实机器人平台上的部署与性能调优。 (2) 支撑具身智能大模型的云端训练体系、数据闭环与MLOps工程。 (3) 发表高水平论文或申请相关专利,推动业界与学界前沿研究。

1.技术与系统架构:负责具身智能与机器人系统的整体架构设计,并主导机器人平台化(硬件模块、控制栈、感知栈)与大模型平台化(数据、训练、推理)的统一设计。 2.具身智能大模型工程:建设数据体系,协同科研模型算法团队推进具身大模型训练,协同、调用云平台搭建面向具身场景的大规模训练与分布式基础设施。 3.端侧模型推理部署:负责将具身智能模型在机器人端侧部署,并结合机器人计算资源进行软硬件协同优化。 4.机器人系统落地与工程交付:主导机器人在各类场景的落地与项目交付;负责从需求拆解、系统集成、工程实现、测试验证到交付运营的全流程工程管理;协调与供应链、ODM/OEM、硬件厂商的技术对接,以及机器人产业上下游的合作。 5.团队管理与跨部门协作:管理多学科工程团队,建立工程和研发流程(CI/CD、QA、仿真体系、回归测试、可靠性验证),并与产品、科研、算法、行业解决方案和 BD 团队紧密协作推进关键项目落地。
随着大模型技术的飞速发展,理解和生成多模态数据(图像、视频、音频、3D素材等)的能力日益增强。目前,构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点,也是实现通用人工智能(AGI)的重要技术路径之一。 通义万相(Wan)将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索,始终追求在多模态世界模型领域的领先研究地位,致力于建立世界级的技术影响力。 多模态世界模型前沿技术研究项目,团队在多个方向上进行探索(具体如下罗列),若你对以下一个或者多个课题感兴趣均欢迎投递: 1. 世界模型,包括但不限于:长视频生成、多模态交互式世界模型、实时音视频生成、生成驱动的世界渲染引擎、3D/4D生成。 2. 原生多模态预训练,包括但不限于:融合语言与图像理解生成统一的多模态模型、音视频融合的生成模型、高效多模态预训练算法。 3. 人类反馈与强化学习,包括但不限于:基于规则的强化学习策略、高效 DPO 与 PPO 算法设计、基于用户反馈的RLHF视频生成质量提升。 4. 统一Tokenizer研究,包括但不限于:适用于图像、视频、音频等多种模态生成和理解的统一Tokenizer、提高多模态模型的泛化能力和效率。 5. 大模型训练/推理优化,包括但不限于:模型蒸馏、模型剪枝、attention计算近似等高效训练加速策略。