通义Token Foundry-训练系统算法工程师-Qwen模型训练-预训练
任职要求
1. 学历与基础： 计算机科学、人工智能或相关专业本科及以上学历（硕博优先），具备扎实的深度学习理论基础，熟悉Transformer架构及LLM预训练/后训练（RLHF/RL）核心算法。 2. 框架能力： 深入理解主流大模型训练框架（Megatron-LM, DeepSpeed, FSDP等）的工作机制与架构设计，具备丰富的源码级Debug、二次开发及插件编写能力。 3. 分布式与调度经验： 熟悉GPU并行计算原理及集合通信原语，具备大规模分布式训练系统设计经验。有RL后训练多模型调度、MoE专家并行（EP）通信优化、或长文本Context Parallel实际落地经验…
工作职责
1. 训练策略设计与优化： 深入理解预训练与RL后训练（如PPO/GRPO等）算法流程，设计并优化大规模分布式训练策略（3D并行、MoE EP、Context Parallel等），解决RL阶段多模型（Actor/Critic/Rollout/Ref）交互的复杂调度与显存墙问题。 2. 框架定制与二次开发： 基于主流训练框架（如Megatron-LM, DeepSpeed等），进行应用层和策略层的二次开发与插件编写，快速支持新模型架构（如长文本、多模态、新型MoE）和新优化器（如Muon, SOAP）的落地验证。 3. 大规模训练稳定性保障（Troubleshooting）： 负责千卡/万卡集群训练的稳定性攻坚。排查并解决训练过程中的Loss Spike、OOM、Hang、通信死锁等疑难杂症，开发自动化诊断、监控与容错恢复工具链。 4. 跨团队协同与联合调优： 作为算法侧接口人，与Infra团队紧密协同。从算法和框架视角提出性能优化需求，配合底层团队完成算子、通信库及硬件层面的联合Profiling与调优，而非独立承担底层基建开发。 5. 前沿技术追踪与落地： 跟踪SOTA大模型训练技术，评估新技术在Qwen训练场景下的适用性，推动训练框架在算法侧的持续演进。
1. 深度参与或主导沙箱平台的整体技术架构设计， 定义系统分层、模块边界和核心接口规范，构建支撑大模型后训练与 AI Agent 两大场景的统一沙箱基础设施，牵引团队技术方向。 2. 深度参与或主导大规模资源调度与弹性架构设计， 规划万级并发沙箱实例的调度策略、资源池化方案和容量模型，在极端突发场景下保障系统稳定性与资源利用率。 3. 推动训练侧与推理侧沙箱的架构统一与平台化， 抽象共性能力，降低各业务方的接入成本。 4. 深度参与跨团队技术协同， 与大模型训练框架、推理引擎、算法、安全等团队对齐需求和技术方案，从基础设施视角定义沙箱的 SLA 和能力边界。 5. 建立技术前瞻性， 持续跟踪业界安全容器、轻量虚拟化、Agent 执行框架等领域的技术趋势，主导关键技术选型和架构迭代。
【部门介绍】 随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 万相Wan将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 【职位描述】 1. 负责万相Wan多模态生成大模型研发，重点解决生成大模型的训练和推理效率问题。 2. 负责研发各种蒸馏加速算法，包括CFG蒸馏，推理步数蒸馏等。 3. 负责研发各种Training-free推理加速算法，不限于cache、量化、采样优化等策略。 4. 负责研发生成模型的高效训练架构，包括但不限于sparse/linear attention、时空独立建模、超分模块等策略。
● 负责主流深度学习框架在Token Foundry大模型场景下的工程优化，包括但不局限于MoE模型大规模训练框架、多模态训练框架、RLHF训练框架等，参与包括基模型Pretrain、SFT等多个阶段的训练任务优化； ● 致力于提升不同阶段模型训练负载的极限吞吐，能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段，优化手段包括但不局限于算子优化、通信优化、分布式策略优化等； ● 负责超大规模训练任务的稳定性的设计，通过各种手段来提升训练任务的有效吞吐，构建更可靠的故障检测系统和自愈系统，提供超大规模训练任务的丝滑体验。
千问（Qwen）是由阿里巴巴研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 我们期望打造世界一流的预训练 LLM 基座，开发涵盖参数量从几百M到T级的基座模型，并将作为 Qwen / QwenVL / Qwen-Omni / Qwen-Coder 等系列模型的基座。我们追求将现有的预训练技术做到极致，并积极探索下一代的预训练技术。 工作职责： 1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向 test-time scaling 的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law 预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model 优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。