通义通义实验室-具身智能大模型与机器人工程专家-北京/杭州
任职要求
1. 计算机、自动化、机器人等相关专业本科及以上学历。 2. 熟悉机器人系统架构(感知一规划—控制)或具身大模型工程体系。 3. 熟练掌握C++/Python,具备扎实的工程实现能力。 4. 具备至少以下任意两类经验: (1)机器人系统工程或应用开发。 (2)多模态/具身数据采集与数据工程。 (3)大模型训练、推理优化、系统加速。 (4)端侧模型部署、量化、编…
工作职责
工程岗位的职责包括以下至少一个或多个方向: 1. 具身机器人应用解决方案研发 (1)参与多模态/具身智能机器人在真实场景中的应用方案设计、系统集成与验证。 (2)搭建端到端具身机器人任务pipeline,包括感知、理解、规划、控制、执行等模块的工程化实现。 (3)推动具身智能大模型能力在机器人实际任务中的落地优化(如操作、导航、交互等)。 2. 具身大模型数据采集与处理 (1)负责机器人数据采集系统搭建,包括传感器标定、采集流程、数据质量控制与自动化工具链。 (2)建设具身大模型训练数据pipeline:数据清洗、切分、标注、同步、增强、格式转换等工程化流程。 (3)参与构建多模态数据集(视频、RGB-D、触觉、关节状态、语言指令等)。 3. 具身大模型云端训练与推理优化 (1)基于GPU/加速器的训练平台优化具身大模型训练性能(并行策略、数据流优化、算子优化)。 (2)负责推理引擎优化,包括模型裁剪、编译器优化、图优化、缓存管理、多线程并发调度等。 (3) 参与构建具身智能模型的训练与推理服务基础设施(MLOps、分布式训练、数据版本管理等)。 4. 端侧模型量化部署与优化 (1)主导端侧模型的压缩、量化(INT8/FP8/混合精度等)、剪枝、蒸馏等部署优化工作。 (2)熟悉ONNXRuntime、TensorRT、TFLite、NPU/DSP编译工具链,进行端侧加加速与算子调优。 (3)推动具身大模型在机器人嵌入式/边缘计算平台上的高效部署。 5. 机器人操作系统与系统优化 (1)优化机器人操作系统(ROS2、RTOS、Linux)性能,包括实时性、通信延迟、资源调度、驱动层稳定性等。 (2)推动机器人软硬件协同优化,包括传感器驱动、控制链路优化、系统级profiling/debugging。 (3)支撑机器人任务的稳定运行与系统级可靠性优化。
1. 具身智能大模型研究与优化 (1) 研究和构建具身智能大模型(Embodied Foundation Models)与机器人大脑。 (2) 探索语言、视觉、动作等多模态融合机制(VLM / VLA / VLA-Agent)。 (3) 优化模型的长时记忆、推理能力与可泛化性。 2. 机器人智能算法研发 (1) 设计和实现机器人多模态感知、导航、操作、交互等核心算法模块。 (2) 推进大模型驱动的机器人任务规划与决策。 (3) 基于模拟器与真实世界数据,进行大规模对齐与强化学习(Sim2Real, RLHF, Imitation Learning)。 3. 系统落地与协同研发 (1) 与硬件与系统团队协作,推动模型算法在真实机器人平台上的部署与性能调优。 (2) 支撑具身智能大模型的云端训练体系、数据闭环与MLOps工程。 (3) 发表高水平论文或申请相关专利,推动业界与学界前沿研究。
1.技术与系统架构:负责具身智能与机器人系统的整体架构设计,并主导机器人平台化(硬件模块、控制栈、感知栈)与大模型平台化(数据、训练、推理)的统一设计。 2.具身智能大模型工程:建设数据体系,协同科研模型算法团队推进具身大模型训练,协同、调用云平台搭建面向具身场景的大规模训练与分布式基础设施。 3.端侧模型推理部署:负责将具身智能模型在机器人端侧部署,并结合机器人计算资源进行软硬件协同优化。 4.机器人系统落地与工程交付:主导机器人在各类场景的落地与项目交付;负责从需求拆解、系统集成、工程实现、测试验证到交付运营的全流程工程管理;协调与供应链、ODM/OEM、硬件厂商的技术对接,以及机器人产业上下游的合作。 5.团队管理与跨部门协作:管理多学科工程团队,建立工程和研发流程(CI/CD、QA、仿真体系、回归测试、可靠性验证),并与产品、科研、算法、行业解决方案和 BD 团队紧密协作推进关键项目落地。
通义千问(Qwen)是由通义实验室自主研发的超大规模语言模型,具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型,涵盖参数量从亿级到万亿级的基座大语言模型,并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成,从逻辑推理到内容创作,从单一多模态到全模态统一理解生成,Qwen正在打造全球领先的全模态模型技术体系,推动AI在企业服务、开发者生态、个人用户等领域的深度应用,引领下一代人工智能的发展。 在此基础上,我们致力于研究Qwen面向具身智能领域的下一代基础模型,将Qwen强大的认知与推理能力赋予物理世界的机器人智能体,打破数字世界与物理世界的壁垒。团队的目标是研发能够理解人类意图、感知物理环境、并自主规划执行复杂任务的通用具身基础模型。我们相信,通过融合前沿的多模态大模型与机器人技术,我们将开创通用人工智能的下一个篇章,让AI真正走进并服务于现实生活。 工作职责: 1. 具身基础模型研究: 构建面向机器人的多模态基础模型,将视觉语言模型与机器人中心的物理世界理解与决策深度融合,构建具身领域的高质量的大规模真实与仿真数据集,设计并训练支持感知、动作、记忆、规划与语言理解统一的具身基础模型。 2. 测评基准建立:构建面向机器人多模态基础模型的能力基准,设计有效的测试基准,持续构建能反映基础模型在物理世界真实能力的高效测评系统。 3. 软硬件系统整合部署: 构建机器人软硬件一体化系统,将算法部署在真实机器人平台(如机械臂、人形机器人)上,进行端到端的验证与迭代,推动研究成果的实际落地。
这个世界的运行机制是否是可计算的?世界的复杂性是否唯有用AI的复杂性来应对?人类是否可以造出一台机器让未来就像过去一样历历在目?面对这些未知而又迷人的世界级难题,阿里巴巴旗下高德地图将组建一支卓越的AI队伍向世界模型发起冲击。在这里,你将获得无限制的算力,让想象力在算力的加持下尽情驰骋;在这里,你将和顶级的空间智能专家并肩作战,让专业与专注碰撞出世界模型最精彩的火花;在这里,你将接触到高德积累了20年的海量真实世界数据,让包罗万象的数据发挥它本来应有的价值。 一、团队介绍 我们是阿里巴巴旗下高德视觉技术中心的具身世界模型团队。这里有自由探索、开放交流的技术氛围,让每个有价值的idea都得到充分的展现和验证。这里有来自国内外顶尖院校毕业的研究员,知名AI项目/论文的作者可能就坐在你身边,让顶尖智力一起碰撞出最美妙的火花。我们是一支兼具学术界和产业界视角的团队,仰望星空,脚踏实地。 团队gihub主页:https://github.com/amap-cvlab 二、我们要去哪? 1、打造可交互、可控制、物理一致的世界模型,突破空间智能技术边界 2、通过世界模型加速物理智能体的进化 3、探索下一代时空基座模型 三、岗位职责: 1. 3D动/静态生产: 利用三维重建、生成模型、多模态大模型对单图、视频完成动态物体/静态场景重建、生成、编辑,并得到可交互的3D资产与长时序视频; 2. 结合3D表征的视频生成: 研发基于动作、轨迹等条件控制的视频生成算法,确保生成内容具备严格的3D几何一致性与物理规律遵循,实现对场景视角、物体交互的精细化控制,为具身智能体提供高保真的虚拟训练环境; 3. 空间推理: 赋予模型深度的三维空间理解与物理常识推理能力(如物体可供性、碰撞动力学、场景拓扑),使其能理解场景背后的物理因果,辅助下游的复杂决策与规划; 4. 训练闭环搭建: 构建“生成-仿真-评估-优化”的自动化数据闭环,利用生成数据扩充训练集(Data Augmentation),并通过端到端系统的反馈迭代优化世界模型,实现数据飞轮效应; 5. 世界模型构建: 结合具身智能、自动驾驶等数据探索空间智能的统一范式,完成环境感知、智能体预测、决策规划等任务并得到未来状态和未来传感器信息,为强化学习提供基座; 6. 产线落地与性能优化: 与具身智能、自动驾驶、智能导航等业务协同,完善仿真数据链路,优化模型推理效率与显存占用; 7. 前沿追踪: 跟踪学术界和工业界在生成式AI/世界模型相关领域的最新进展,保持公司在该领域的技术领先地位。