高德地图高德-算法工程师-多模态感知算法
任职要求
1. 硕士及以上学历，计算机、人工智能、数学等相关专业，具备扎实的机器学习与深度学习理论基础； 2. 深入理解大语言模型技术栈（Pretrain、SFT、RLHF等），有实际项目经验者优先； 3. 对地图与自动驾驶领域有浓厚兴趣，具备良好的逻辑思维、问题分析与解决能力，具备团队协作精神和主动沟通意识； 4. 在ACM竞赛中取得优异成绩，或在NeurIPS、ICML、CVPR、ACL等顶级会议发表论文者优先。
工作职责
1. 跟踪VLM/VLA、世界模型、3D生成等前沿技术动态，结合地图领域的专业知识，探索其在智能交通与位置服务中的创新应用； 2. 基于高德海量多源异构数据，参与多模态地图大模型的构建、训练及性能调优； 3. 研发面向静态要素检测、occupancy网格预测及三维场景重建的多模态感知算法，建设复杂城市场景下的空间理解与环境表征能力。
主要从事物联网（IoT）与人工智能（AI）的跨领域技术研发，聚焦多模态感知与大模型优化在智能家居场景的深度应用，具体方向包括： 1. 多模态融合感知：研发基于视觉、语音、环境传感等多源数据的融合算法，构建高精度环境感知系统，实现对用户行为与空间状态的实时理解； 2. 垂域大模型优化：针对智能家居场景优化大模型架构，开发参数高效微调（如LoRA）与轻量化部署方案，提升模型在边缘设备端的推理效率； 3. 智能决策系统：融合多模态感知与大模型分析能力，构建个性化推荐引擎，实现设备联动自动化与场景化服务（如自适应照明、安防预警等）。 【课题名称】 基于多模态感知的IoT垂域大模型应用 【课题内容】 基于多模态感知融合技术的垂域大模型优化方案，拓展智能家居场景应用，实现环境、语音与视觉数据的协同分析与智能决策。
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。
1. 自动驾驶多模态（Camera&Radar&Lidar) 感知处理和优化，包括感知信息的预处理，多模态融合，置信度估计等； 2. 研究先进的多模态感知算法，例如点云+图像的多模态前融合感知、learning-based多模态处理等； 3. 与上下游模块沟通，反馈、承接量产问题，打造量产数据闭环。