通义Token Foundry-大模型训练Infra研发工程师-北京/上海/杭州

千问（Qwen）是由阿里巴巴研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 我们期望打造世界一流的预训练 LLM 基座，开发涵盖参数量从几百M到T级的基座模型，并将作为 Qwen / QwenVL / Qwen-Omni / Qwen-Coder 等系列模型的基座。我们追求将现有的预训练技术做到极致，并积极探索下一代的预训练技术。 工作职责： 1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向 test-time scaling 的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law 预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model 优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。

1. 深度参与或主导沙箱平台的整体技术架构设计， 定义系统分层、模块边界和核心接口规范，构建支撑大模型后训练与 AI Agent 两大场景的统一沙箱基础设施，牵引团队技术方向。 2. 深度参与或主导大规模资源调度与弹性架构设计， 规划万级并发沙箱实例的调度策略、资源池化方案和容量模型，在极端突发场景下保障系统稳定性与资源利用率。 3. 推动训练侧与推理侧沙箱的架构统一与平台化， 抽象共性能力，降低各业务方的接入成本。 4. 深度参与跨团队技术协同， 与大模型训练框架、推理引擎、算法、安全等团队对齐需求和技术方案，从基础设施视角定义沙箱的 SLA 和能力边界。 5. 建立技术前瞻性， 持续跟踪业界安全容器、轻量虚拟化、Agent 执行框架等领域的技术趋势，主导关键技术选型和架构迭代。

1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向 test-time scaling 的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law 预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model 优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。

1. 负责大模型从 Pre-SFT、SFT 到 RLHF (DPO/PPO/GRPO等) 全阶段的算法调优与策略设计，提升模型在风格控制、安全合规、领域知识注入、多轮交互逻辑、文创、指令遵循、情绪控制、Agent Planning 等核心维度的综合能力 2. 设计高质量 SFT、RL 等数据采集、清洗和标注方案，建立数据质量评估标准和流程，持续提升数据质量和多样性 3. 参与模型合版工作，包括数据配比策略、多任务训练优化、灾难性遗忘缓解等核心技术，确保各业务线智能体能力与基座模型的高效融合 4. 探索多模态（文本、视觉、音频等）场景下的 Post-Training 方案，解决跨模态对齐与幻觉问题，探索高质量数据的合成、Self-Play、Agentic RL 等方法，与 Pretrain、RL、评测团队紧密配合，推动基座模型面向应用的全流程优化 5. 参与 APP 对话助手产品的效果优化，通过精细化的 SFT/RL 策略提升对话质量、安全性与用户体验