地平线世界模型与仿真器方向实习生
任职要求
1、硕士 / 博士在读，计算机、人工智能、电子工程、自动化等相关专业；
2、具备扎实的深度学习基础，熟悉并关注 world model、diffusion、3D reconstruction 等生成方向的最新学术进展；
3、具有较强的代码实现能力，能够独立完成论文复现、模型实验与工程化改进；
4、具备良好的英文文献阅读能力、技术沟通能力与自我学习能力，能够快速理解并实现前沿方法。
加分项
1. 具有以下任意方向的研究或项目经验者优先：
世界模型…工作职责
在资深研究员的指导下，参与基于世界模型的自动驾驶仿真器研发与原型系统实现，重点包括以下方向的探索与验证： 1、面向 DrivingDiffusion/World Model 的交通行为生成算法研究与优化，完成模型复现、算法原型实现并应用于真实仿真任务中； 2、基于车辆录制采集素材数据开展 Video-to-Simulation 场景重建，包括 3D 几何重建、轨迹解析、场景结构化等模块的探索与实现； 3、探索 世界模型（World Model）、动态场景生成、神经渲染（3DGS/NeRF）等前沿技术在自动驾驶仿真引擎中的应用，并构建可运行的 Simulation Engine 原型； 4、开展相关前沿算法调研，撰写技术报告，必要时发表高水平论文或技术成果。
团队介绍 滴滴自动驾驶AI research 团队致力于自动驾驶领域以及机器人领域前沿算法的研究和实际落地，团队成员均毕业于国内外顶尖高校，并在人工智能领域发表了多篇高水平论文 。团队的核心目标是从传统的模块化、规则驱动的系统，迈向以大模型（Foundation Models）为核心，数据驱动、端到端学习的全新架构，来打造通用的行为智能体，应用于自动驾驶，机器人等领域。团队目前的研究内容和探索方向包括但不局限于基于多模态大模型的模仿学习、强化学习、离线强化学习以及决策规划、Agent行为预测等。 主要方向与职责： 你将在以下方向中选定一个或多个方向深入负责，并承担从研发到落地、从算法到系统的端到端职责： （1）前沿研究与探索：紧密跟踪并深入研究多模态大模型、生成式模型的最新进展。并探索和验证将这些前沿技术应用于自动驾驶和机器人领域的可能性。 （2）VLA模型设计与训练：主导或参与设计面向自动驾驶场景或者机器人的VLA大模型，通过将模仿学习和强化学习范式与大模型相结合，使其能够理解周边的三维场景以及人类指令，并输出安全、拟人化的行为决策。 （3）世界模型与闭环仿真：研究和构建能够进行时空预测的“世界模型”作为仿真器，将大模型智能体与仿真器深度结合，从而构建一个可以安全、高效地进行虚拟测试和迭代的闭环仿真环境。 （4）数据驱动与数据闭环：构建高效、可扩展的数据闭环系统。从海量真实数据中自动挖掘高价值的困难场景，长尾场景等，同时保证数据分布的多样性与均衡性。
1.参与设计和建设具身智能仿真平台,构建模型训练评测所需的仿真功能、场景、任务、数据资产； 2.负责具身智能仿真系统的设计、开发与优化,包括但不限很于机器人仿真、交互式环境建模和任务生成； 3.与相关团队合作,协助具身智能算法在仿真中构建及sim-real迁移,完善仿真使用及评估方案； 4.负责遥操/VR/动捕的高效数据生成和增强,并在机器人操作算法(VLA/模仿学习/强化学习)上验证有效性； 5.利用视频/图像数据扩展操作数据,提升操作泛化性。
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。