哈啰世界模型仿真算法工程师（图像/点云）
任职要求
1. 基础背景：计算机/数学/机器人等相关专业硕士及以上；精通 Python/C++ 及 PyTorch，具备极致的代码与工程能力。 2. 核心要求：对Diffusion Models、GANs、VAEs…
工作职责
1. 资产构建：负责局部inpainting修复或资产插入和谐化，实现高效的生成式画面修复算法，为端到端模型训练提供逼真的仿真合成数据 2. 多模态预训练：实现多视角、一致性高、长时序的视频生成模型，复现并改进 Sora,、GAIA系列、Cosmos 等前沿算法；融合点云与图像生成统一的多模态模型，实现高效多模态预训练算法 3. 多模态可控交互：利用预训练生成式模型对各类环境进行建模，提供多模态交互的基本能力，包括不限于基于layout稳定生成多目视频流、基于语言实现天气场景变化、基于action实现连续世界交互等 4. 与仿真团队协作完成工程优化和部署落地工作，解决算法在实际应用中遇到的性能问题，建立3D场景及素材库的持续迭代机制；
自动驾驶： 1、负责自动驾驶动态目标感知算法设计和优化，包括但不限于3D目标检测与跟踪、图像/点云语义分割、物体动静态估计、Radar融合以及相应的数据挖掘与仿真算法； 2、静态感知模块研发，包括但不限于各类静态障碍物检测跟踪、地图元素识别及其矢量化/语义化/拓扑化、可行驶区域/BEV分割/OccupancyNetwork及针对真实世界中OpenVocabulary的众包地图大模型研发； 3、感知基础算法研发，包括但不限于时序多模态等基础感知模块，大规模多模态预训练算法，室外大范围动静态场景重建与编辑技术，基于（可提示）交互式智能标注系统等。
1. 负责研究和开发适合机器人的多模态大模型算法，包括但不限于语言、图像、视频、点云等模态，应用于机器人环境感知、决策、规划控制等领域 2. 负责多模态大模型算法设计、开发以及验证，通过仿真和数据闭环等方式控制和量化算法迭代效果 3. 通过研发世界模型、生成式模型，搭建闭环渲染系统，辅助端到端模型的训练 4. 深入调研前沿算法，探索前沿算法在具体场景中落地的可能性
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。
多模态传感器融合感知端到端模型研发： -基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法（包含但不限于：障碍物检测、OCC（Occupancy Network）、场景语义分割、跟踪等任务），提升在复杂场景、极端场景下的感知能力； -构建覆盖Corner Case的自动化数据采集与标注系统，开发数据质量评估体系，建立数据-模型迭代闭环机制； -通过自监督、弱监督学习提升模型泛化能力，加速数据飞轮，探索VLM、VLA等技术在数据飞轮中的实践与应用； -轻图/无图模型研发； -基于多模态传感器设计与实现轻图、无图模型，实现L4下的轻图实时生成，包含拓补信息、各种道路属性等的实时生成，为L4大规模应用提供基础道路感知能力； -构建轻图对应的数据闭环与数据飞轮，如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现。 世界模型研发： -设计基于多模态传感器的世界模型，为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力； -构建为实现世界模型需要的数据闭环与数据飞轮，如数据采集、生成、自动化标注等相关强算法问题解决。