哈啰世界模型仿真算法工程师（图像/点云）
任职要求
1. 基础背景：计算机/数学/机器人等相关专业硕士及以上；精通 Python/C++ 及 PyTorch，具备极致的代码与工程能力。 2. 核心要求：对Diffusion Models、GANs、VAEs…
工作职责
1. 资产构建：负责局部inpainting修复或资产插入和谐化，实现高效的生成式画面修复算法，为端到端模型训练提供逼真的仿真合成数据 2. 多模态预训练：实现多视角、一致性高、长时序的视频生成模型，复现并改进 Sora,、GAIA系列、Cosmos 等前沿算法；融合点云与图像生成统一的多模态模型，实现高效多模态预训练算法 3. 多模态可控交互：利用预训练生成式模型对各类环境进行建模，提供多模态交互的基本能力，包括不限于基于layout稳定生成多目视频流、基于语言实现天气场景变化、基于action实现连续世界交互等 4. 与仿真团队协作完成工程优化和部署落地工作，解决算法在实际应用中遇到的性能问题，建立3D场景及素材库的持续迭代机制；
1. 仿真引擎：负责自动驾驶仿真引擎的开发，实现高并发、高稳定性、高效率的仿真云平台，支撑自动驾驶端到端模型的训练和评测。 2. 仿真评测，负责开发感知、端到端等评价框架，支撑和维护仿真评价体系。 3. 工程优化：基于Cuda和TenseorRT开发推理框架，优化工具链，综合运用指令集优化，线程调度策略，内存池管理技术，实现极致性能与资源利用，实现世界模型在仿真云平台的部署与调优
生成式重建算法研发 - 参与 Image/Video/Text-to-3D，Scene Reconstruction 等生成式重建算法的研发与优化； - 探索 3DGS，Diffusion，World Model 等前沿模型在三维重建中的应用； - 探索Agent, 3D与实时场景渲染的交互； - 推动技术在智驾，具身等场景中的落地；
我们希望你是 2024年11月-2026年10月 期间毕业的 博士/硕士研究生 同时也是： 学术先锋：在国内外顶刊/顶会上发表过重要学术论文（包括但不限于NeurIPS、ICML、CVPR、ICCV、ECCV 等顶会或 IEEE Transactions 系列核心期刊） 竞赛达人：在国内外顶尖赛事中取得优秀成绩（包括但不限于RoboMaster、Topcoder、Codeforces、ACM-ICPC、RoboCup、Kaggle、Nips、Kdd） 实战高手：有自动驾驶、机器人、大模型基座，复杂Agent相关科研项目或实习经历（包括但不限于感知算法优化、决策模型开发,复杂多Agent的搭建等） 同频共振：理性务实、敢想敢干、渴望成功、乐观激进、聪明自省 工作内容 从海量自动驾驶数据中重建三维场景，渲染、合成关键场景的训练和测试数据。你将参与到以下工作中： 1. 利用Nerf/GS等算法对路测数据进行重建，根据下游需求实现场景编辑和渲染； 2. 利用Diffusion、激光-视觉多模态等生成式模型算法，实现跨车道效果渲染，场景和谐化等功能； 3. 协助搭建仿真闭环渲染链路，支撑自动驾驶端到端模型的闭环训练和评测； 4. 跟踪和研究前沿学术成果，协同团队进行技术选型和创新。
在资深研究员的指导下，参与基于世界模型的自动驾驶仿真器研发与原型系统实现，重点包括以下方向的探索与验证： 1、面向 DrivingDiffusion/World Model 的交通行为生成算法研究与优化，完成模型复现、算法原型实现并应用于真实仿真任务中； 2、基于车辆录制采集素材数据开展 Video-to-Simulation 场景重建，包括 3D 几何重建、轨迹解析、场景结构化等模块的探索与实现； 3、探索 世界模型（World Model）、动态场景生成、神经渲染（3DGS/NeRF）等前沿技术在自动驾驶仿真引擎中的应用，并构建可运行的 Simulation Engine 原型； 4、开展相关前沿算法调研，撰写技术报告，必要时发表高水平论文或技术成果。