Momenta端到端大模型算法实习生
任职要求
1.计算机、人工智能、自动化、机器人等相关专业硕士及以上学历； 2.熟练掌握 Python/C++，精通 PyTorch 等主流深度学习框架，具备良好的数学基础（线性代数、概率论、最优化）； 3.熟悉端到端自动驾驶技术栈（如 UniAD、SparseDrive、VAD、DriveVLM 等），理解感知-预测-规划一体化建模方法； 4.深入理解 Transformer、Diffusion Model、自回归生成模型等主流架构，有 World Model（如 JEPA、UniSim、DriveDr…
工作职责
1.负责端到端智驾大模型的算法预研、算法突破与验证工作; 2.基于端到端大模型，进行世界模型算法预研，提升端到端模型效果和泛化性。
1、探索并构建语音理解与生成统一的大模型架构（Speech Unified Modal），实现从语音到语音（S2S）、文本到语音（T2S）、语音到文本（S2T）的端到端流式交互能力，对标 GPT-4o 音频模式等前沿技术； 2、负责语音离散化（Audio Tokenizer/Neural Codec）算法的改进与优化，提升语音 Token 在语义理解与声学细节（语调、情感、音色）上的表征能力，降低压缩损耗； 3、参与语音大模型的预训练（Pre-training）、指令微调（SFT）及人类反馈强化学习（RLHF）流程；解决长序列建模、跨模态对齐及推理延迟等技术难题； 4、设计并实施大规模多模态数据（语音-文本交错数据）的清洗、合成与增强方案，构建高质量的语音指令数据集（Instruction Tuning Data）； 5、追踪并复现语音与多模态领域的最新顶会论文（如 ICASSP, Interspeech, ICLR, CVPR 等），将最新的自回归（Autoregressive）或流匹配（Flow Matching）技术应用于内部模型创新。
1. 设计并实现端到端大模型，整合感知、规划与决策功能，提升模型的整体性能与效率； 2. 运用深度学习、强化学习、机器学习等技术，优化模型结构，提高模型对复杂驾驶场景的理解和应对能力； 3. 负责收集、标注和处理智能辅助驾驶相关数据，构建高质量的数据集，为模型训练提供有力支持； 4. 利用数据增强、迁移学习等方法，提升数据利用效率，优化模型的泛化能力； 5. 跟踪智能辅助驾驶和人工智能领域的最新研究成果，探索新技术在端到端大模型中的应用可能性
工作职责： 1. 端到端模型的选型、设计、训练和优化，与团队协作完成模型的测试、验证和部署； 2. 构建数据标注和评测流程，并基于模型表现进行数据挖掘、数据清洗、数据配比等提升模型效果； 3. 分析路测数据中的corner场景，设计数据和模型等手段，提升该场景下模型表现并解决问题； 4. 利用数据增广、迁移学习、对比学习和强化学习等方法，提升数据利用效率，优化模型泛化能力； 5. 跟踪行业前沿技术，将创新性方案应用于实际项目。
- 定义和主导端到端自动驾驶算法的长期技术路线图，负责从模型架构（如Transformer、Diffusion Model等）选型到整体方案设计的关键决策。 - 深入一线，解决研发过程中最棘手的技术难题，如长尾场景处理、模型收敛性、部署效率等。 - 推动端到端模型在量产项目中的评估、测试和部署，对最终的产品性能和用户体验负责。 - 负责招聘、组建并领导一支世界级的端到端算法团队，营造开放、创新、高效的研发氛围。