百度自动驾驶-感知算法工程师(VLM语义方向)-2026AIDU-自动驾驶技术部(J86398)
任职要求
-计算机、电子、应用数学、自动化等相关专业的硕士及以上学历； -具有良好的机器学习的理论基础，良好的数学基础以及分析解决问题的能力； -熟练掌握C++、Python编程语言，具备Linux下开发能力，具有良好的编程习惯和工程实现能力； -熟悉主要的图像深度学习模型方法，包括且不局限于3D卷积/稀疏卷积/transformer等网络结构以及对应训练经验； -熟悉LLM与VLM基础原理，训练方法，有训练经验者优先； -在计算机视觉或机器人相关领域顶级会议或期刊CVPR、ICCV、ICRA、IROS、PAMI等发表论文者优先； -良好的沟通表达能力和团队合作意识。
工作职责
VLM模型方向： -负责基于VLM开源大模型与自动驾驶领域结合的专用自动驾驶VLM模型设计与实现,实现对复杂场景语义理解，给出决策语义或者行为语义； -负责对应模型调研、设计、研发与落地等工作，包含服务端大模型与车端小模型。 VLM数据闭环方向： -负责VLM模型训练与评价需要的数据爬取、挖掘、自动标注等核心算法工作； -使用业界大模型进行数据生成、标注等的训练、评价数据获取相关核心算法工作。
VLM模型方向： -负责基于VLM开源大模型与自动驾驶领域结合的专用自动驾驶VLM模型设计与实现,实现对复杂场景语义理解，给出决策语义或者行为语义； -负责对应模型调研、设计、研发与落地等工作，包含服务端大模型与车端小模型。 VLM数据闭环方向： -负责VLM模型训练与评价需要的数据爬取、挖掘、自动标注等核心算法工作； -使用业界大模型进行数据生成、标注等的训练、评价数据获取相关核心算法工作。
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。
-负责基于图像和自动驾驶感知结果的VLM语义模型相关研发 -负责对应模型调研、研发与落地等工作 -负责对应数据需求的提出或数据自动化构建等的数据相关研发工作 -协助其他工程师一起实现全无人状态下感知语义模型研发和能力建设