京东面向复杂场景的自动驾驶端到端大模型与强化学习的技术研究

公司介绍 滴滴于 2016 年组建自动驾驶技术研发部门，致力于打造世界领先的 L4 级自动驾驶技术，通过科技让出行更安全、更高效。我们相信，将自动驾驶技术部署在共享出行车队中，将创造最大的社会价值。依托滴滴在出行领域的 先进技术、海量数据、丰富经验和完整的出行平台生态，我们正在打造并运营世界领先的自动驾驶 Robotaxi 车队，推动自动驾驶在城市复杂交通场景中的规模化落地。 职位描述 作为感知团队的一员，你将与国内外顶尖人才一起，研究和开发自动驾驶领域的前沿算法，直接赋能 L4 Robotaxi 的大规模部署。 你将面向真实城市道路场景中的多样化挑战，利用多模态传感器（LiDAR、Camera、Radar 等）设计、开发并优化感知算法，解决物体识别、障碍物检测、场景理解、意图预测与大模型赋能等核心问题。 在这里，你将有机会： 与中美两地的优秀工程师和科学家合作，参与世界级的技术竞争； 深入研究并推动最前沿的学术成果在产业中的落地； 在全球最大出行平台之一的业务场景中，实现科研成果的规模化应用。 主要方向与职责： 你将在以下方向中选定一个或多个方向深入负责，并承担从研发到落地、从算法到系统的端到端职责： （一）物体识别与跟踪 设计并实现基于 LiDAR / Camera / Radar 的多模态检测模型，识别车辆、行人、自行车、静态障碍物、交通标志等 提升精度、召回率与抗扰性（抗遮挡、夜间、恶劣天气、长尾类别） （二）通用障碍物识别 识别未知类别 /未训练类别的障碍物 基于异常检测 /开放类别识别的算法研究与工程实现 在非结构化环境（施工区域、道路损坏、落物等）中提升鲁棒性 （三）场景和意图理解 语义分割、实例分割、道路 /车道/交通标志/交通灯等结构物识别 场景理解，例如施工区域识别、可通行区域识别等 意图理解，例如行人动作识别、起步意图识别等 交互和事件识别，例如多方交互、交通规则冲突、非规范驾驶行为等 （四）感知大模型 /多模态 探索或应用预训练多模态大模型，将视觉、语言、地图/文本信息融合以增强感知能力 零样本 / 少样本 / 跨域泛化的策略研发 将大模型成果迁移到真实车队感知系统中，提升复杂场景下的鲁棒性 （五）模型评估、验证 构建完整的评估管道，包括离线评估 + 真实道路 + 模拟环境测试，支持回归检测与性能监控 指标体系设计 (Precision, Recall, IoU, latency, false positives rate 等)

1. VLA模型架构创新与研发： 主导机器人视觉-语言-动作（VLA）大模型的架构设计、算法研发与实现，攻克多模态特征高效对齐、动作序列生成与推理优化等关键技术，显著提升模型在机器人操作、自动驾驶等复杂任务中的端到端执行能力； 2. 机器人多模态智能系统构建： 设计并实现融合视觉、语言与动作信号的联合训练框架，研发基于Transformer或扩散模型的跨模态交互与理解机制，提升模型在动态复杂环境下的语义理解、情境推理与决策能力； 3. 模型高效部署与优化： 面向具身智能硬件平台（如机械臂、移动机器人），深度优化VLA模型的实时推理性能，运用算子融合、量化压缩、模型剪枝等前沿技术，实现模型在边缘设备的高效、低延迟部署； 4. 跨模态数据闭环体系搭建： 构建面向具身智能的大规模、高质量数据采集、增强与标注系统，开发仿真验证工具链，建立数据驱动的模型迭代闭环，持续提升VLA模型在真实场景下的鲁棒性与泛化能力。

1，负责自动驾驶大规模数据管线的设计与研发，，包括多传感器(视频，图片，雷达信号等）的数据清洗、脱敏脱密、时空对齐、标签抽取、特征融合等模块的设计与开发；保障数据加工产线高效率、低成本运转； 2，开发自动驾驶云平台各功能模块，基于Kubernetes采用微服务架构，全程参与产品开发，提升研发、运营、管理的使用体验；构建大规模任务处理系统，并负责GPU、CPU等多种异构资源的编排调度； 3，持续优化数据质量和效率，提供面向算法的各类数据服务/平台，推动数据驱动模型改善和整体自动驾驶能力的提升。 4，具备较强的业务能力和数据产品思维，能根据实际业务需要，制定端到端解决方案，并落地到业务产生收益，不断优化用户体验

端到端自动驾驶大模型是当前工业界与学术界的研究热点，它通过数据驱动与科学建模，从原始传感器数据出发，直接预测自车未来行为，是AI与自动驾驶融合的综合应用。1、以海量真实数据为基础，依托计算机视觉、深度学习与大模型技术，构建面向真实世界的一体化决策规划模型 2、在端到端自动驾驶模型的设计与优化中，研究方向包括但不限于：端到端自动驾驶大模型优化、多模态融合与感知场景理解、大语言模型(VLM)驱动的复杂场景理解、基于扩散模型的预测与规划行为生成、三维空间表征与自监督预训练、 强化学习与人类行为偏好对齐等。