
Momenta自动驾驶大模型算法(理解生成一体)
任职要求
1、计算机科学、人工智能、机器人、自动化等相关专业硕士及以上学历。 2、扎实的编程能力,熟练使用Python/C++,具备良好的数据结构与算法基础。 3、熟悉主流深度学习框架(PyTorch等),对模型训练、优化与工程实现有深入理解。 加分项 1、在CVPR/ICCV/ECCV/NeurIPS/ICLR/ICML/TPA…
工作职责
职位技术背景(满足以下至少一项) (一)理解生成一体 / VLA 方向 1、有VLA模型、多模态大模型或端到端自动驾驶模型的研发经验,理解视觉、语言、动作等多模态信息的对齐与协同。 2、在模型结构上曾设计过理解与生成共享主干或联合训练策略,例如统一输出感知结果与轨迹/动作。 (二)世界模型 / 生成式模型方向 1、熟悉Diffusion Model、自回归时序模型或世界模型(如Video Action Model、DriveDreamer、GAIA-1),有视频生成、未来帧预测、轨迹生成等相关实践经验。 2、了解如何将理解得到的结构化信息(如BEV、占据网格、语义图)作为条件引导生成过程。 (三)端到端决策与控制方向 1、在模仿学习、强化学习或端到端Planning方向有深入研究,有一段式/End2End自动驾驶项目经验。 2、对“理解引导规划”或“规划与感知联合优化”有实际项目或论文产出。
端到端自动驾驶大模型是当前工业界与学术界的研究热点,它通过数据驱动与科学建模,从原始传感器数据出发,直接预测自车未来行为,是AI与自动驾驶融合的综合应用。1、以海量真实数据为基础,依托计算机视觉、深度学习与大模型技术,构建面向真实世界的一体化决策规划模型 2、在端到端自动驾驶模型的设计与优化中,研究方向包括但不限于:端到端自动驾驶大模型优化、多模态融合与感知场景理解、大语言模型(VLM)驱动的复杂场景理解、基于扩散模型的预测与规划行为生成、三维空间表征与自监督预训练、 强化学习与人类行为偏好对齐等。
云端大模型算法工程师/专家 1、云端任务大模型算法研发:负责数据驱动的云端大模型算法研发和优化,包括多模态大模型、生成式世界模型等方向;开发基于多传感器数据、时空数据融合的自动标注算法;研发场景与标签的生成式算法技术,探索云端动静态场景重建算法上限,提升自动驾驶感知-拓扑-规划云端一体化能力; 2、云端基座大模型研发:基于海量量产数据,研发无监督/自监督算法,持续提升大模型的语义理解能力和空间感知能力;搭建和优化云端自动化标注产线,将重建/生成的场景真值应用于大规模模型训练和评测; 3、Scaling Law算法研发:负责车云平台一体化大模型算法研发和优化,研发和设计基于数据驱动的感知迭代链路;构建高效的自训练感知pipeline,提高数据闭环效率。
1. 自动驾驶数据建模 - 设计多源异构数据的数仓分层模型(ODS/DWD/DWS/ADS),支撑感知、预测等算法训练; - 设计支持相似性检索的数仓分层(ADS层集成VectorDB特性); - 构建数据血缘与元数据管理体系,保障数据可追溯性; - 构建多模态数据的统一向量化标准(图像/点云/文本的Embedding规范)。 2. 大规模数据处理开发 - 开发高可靠ETL流程,处理车载传感器原始数据(摄像头/LiDAR/GPS等); - 基于Spark/Flink优化数据清洗、转换、聚合任务,提升云端处理效能; - 开发多模态Embedding流水线(CV/NLP模型的分布式特征提取); - 基于VLM(视觉语言模型)自动生成数据标签(替代人工标注); - 构建驾驶场景语义索引系统(支持“极端天气”“危险变道”等语义检索)。 3. 分析平台建设 - 搭建数据湖仓一体架构(Paimon/Iceberg + Doris/StarRocks); - 搭建海量特征向量数据库(Milvus/Pinecone/自研引擎); - 开发BI可视化看板,监控数据质量及自动驾驶关键指标(生产折损率,感知准确率、干预率等); - 开发多模态检索接口(如根据文本描述搜索关联驾驶场景视频)。 4. 效率优化 - 持续优化数据存储成本与计算性能(分区策略/压缩算法/计算资源调度); - 探索弹性伸缩,流批一体,存算分离等架构在实时数据处理场景的应用。