理想汽车基座模型-大模型算法工程师-基座及后训练算法-北京
任职要求
1.硕士及以上学历，NLP、多模态、计算机等相关专业，紧跟行业及学界进展； 2.扎实的算法基础，熟悉预训练、后训练、智能体、RL、模型架构设计与优化、对技术探索、开发及应用有热情； 3.熟悉Python编程语言，熟悉PyTorch深度学习框架并有实际项目经验； …
工作职责
1.负责VLA基座大模型的架构设计与优化，包括但不限于MoE、MoD、稀疏注意力机制、快慢双系统以及多模态架构设计等 2. 负责VLA训练范式探索，包括但不限于预训练、RL等 3. 负责VLA基座大模型的Scaling Law建设 4. 负责MindVLA后训练算法研究和落地，研究面向L3 Agent的后训练范式，包括监督微调、通用强化学习、智能体强化学习等技术； 5. 参与下一代VLA基座模型的探索与创新研究，打造技术影响力。
团队主要负责蚂蚁集团大语言模型的语料优化，涵盖数据扩源、数据质量提升、合成语料、数据利用方式优化、数学/代码/推理/对话能力提升等多个方向。我们致力于通过数据驱动的方式打造业界一流的语言基座模型。 1. 负责大语言模型各阶段训练语料的优化工作，包括预训练、后训练、强化学习训练阶段，具体的工作包括体系化地扩展各类型的数据、定义并迭代优化数据质量、建设高效的合成语料技术、优化高质量数据筛选策略、优化数据配比及训练策略等。 2. 负责端到端地优化基座模型的各项关键能力，包括数学、代码、推理、对话等能力，具体工作包括扩展各能力相关的语料、定义并迭代优化数据质量、针对性地合成相关语料、优化高质量数据筛选策略、优化各阶段数据配比及训练策略、优化评测方式等。 3. 负责研发语料优化相关的基础设施，包括研发高效的数据处理算子及链路、构建数据标签体系及标注模型、探索数据与模型效果的关系、设计数据效果评估机制等。 4. 跟踪和研究大模型领域的前沿技术方向，包括但不限于语料优化、预训练和后训练算法、知识增强、数据合成等，推动技术创新并应用到基座模型训练中。
1）训练安全基座大模型，在开源大模型基础上持续预训练实现知识注入、后训练实现指令对齐, 涵盖dense\moe架构、多模态、长上下文推理(QwenLong-L1)等各类基座。 2）探索研究安全基座大模型在各风险领域的应用，并与策略、技术等各岗位同学密切合作、推动落地。 3）快速搭建各类Agent，熟悉deepsearch/工具调用，有较强动手能力。
参与快手大语言/多模态基座模型、业务应用的研发，工作内容包括： 1、深度参与多模态/大语言模型训练全链路开发，包括数据、预训练、后训练全流程优化; 2、设计和优化分布式训练框架，通过混合并行，通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题； 3、参与通用高性能RL框架的开发和优化； 4、算法工程co-design，探索最优的训练范式。
1、探索新一代大语言模型基座架构，完成扩散模型（diffusion model）在大语言模型的重塑，突破逐个token预测的方式，实现高效的推理模式，探索全新scaling law； 2、实现大模型训练的数据清洗、合成和评估；设计和实现大模型训练的AI Infra框架。