理想汽车基座模型-大模型训练框架研发工程师-北京/杭州
任职要求
职位要求 本科及以上学位，计算机、深度学习等相关专业，3年及以上工作经验 熟练掌握Linux环境下的C/C++与Python语言 熟练使用至少一种训练框架（Tensorflow、PyTorch 或其他自研框架） 熟练使用至少一种大规模训练优化框架(Megatron、DeepSpeed、Lightseq 或其他自研框架) 至少一项的背景知识与经验：GPU编程，编译器，高性能网络，分布式存储，集群调度 加分项 百亿以上GPT或MoE等大型预训练模型实践经验 深入研究过至少一种框架（Tensorflow、PyTorch、Megatron、DeepSpeed、Lightseq或其他自研框架）的底层架构和机制 能使用数学工具分析深度学习训练中的优化算法
工作职责
岗位职责 负责分析和优化大模型的分布式训练全链路过程，以提升训练性能和效率
参与快手大语言/多模态基座模型、业务应用的研发，工作内容包括： 1、深度参与多模态/大语言模型训练全链路开发，包括数据、预训练、后训练全流程优化; 2、设计和优化分布式训练框架，通过混合并行，通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题； 3、参与通用高性能RL框架的开发和优化； 4、算法工程co-design，探索最优的训练范式。
1、参与快手大语言模型、多模态基座模型的训练/推理引擎研发及优化工作； 2、参与快手自研生成式推荐大模型训练全链路开发和优化，以及快手广告、电商、直播、搜索等全域模型的训练全链路研发与优化； 3、设计和优化分布式训练框架，通过混合并行，通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题； 4、参与通用高性能RL框架的开发和优化，包括但不限于高效rollout、高效RL链路调度优化等； 5、通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从亿级到万亿级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于深度参与大模型训练系统优化与高性能推理服务构建，聚焦于算法与系统协同设计，推动大模型在效率、稳定性与成本上的持续突破。若你对以下任意一个方向感兴趣均欢迎投递： 1. 模型训练优化：在不影响模型性能前提下提高各尺寸模型在大规模分布式预训练训练的 MFU，以支持模型规模，数据规模及支持模态的持续 scaling；持续进行RL训练框架的开发和优化，提高训练推理协同效率和大规模训练下的稳定性及可扩展性；同时与网络/服务器/存储等相关运维团队共同保障训练过程中的有效训练时间占比，保障模型的按期交付。 2. 模型推理优化：高效以及成本最优的推理服务，让AI进一步实现普惠。团队推理优化的工作目前主要关注高并发serving（Qwen Chat以及API服务）下的算法侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。
1.多模态端到端大模型架构探索，包括多模态编码器、多模态离散tokenizer、理解与生成统一模型架构、VLA模型架构研发、稀疏注意力高效推理架构设计等 2. 多模态端到端大模型训练范式研究，包括预训练、后训练、强化学习提升模型能力，建设自动推理、自动任务规划、工具调用的Agent能力，以及提升多模态生成和行动生成的端到端生成效果 3. 负责多模态端到端大模型的Scaling Law建设 4. 参与多模态端到端模型的探索与创新研究，打造技术影响力。