通义Token Foundry-模型自进化算法专家-Qwen模型训练
任职要求
1. 计算机、人工智能、自动化等相关专业本科及以上学历，硕士/博士优先。 2. 具备扎实的机器学习、深度学习基础，熟悉大模型训练、对齐、微调或推理优化相关技术。 3. 实现过有效的自动化数据构造Pipeline优先。 4. 实现过自动化训练、超参数优化、训练系统或推理框架…
工作职责
1. 围绕模型自进化方向开展算法研究与系统研发，探索大模型能力自动演进的关键路径。 2. 聚焦Agent任务，为模型注入自动迭代RL/SFT训练数据的能力，包括Agent环境/query/verifier合成、筛选、训练、反馈闭环优化，通过多轮迭代提升训练数据质量。 3. 为模型注入自动挖掘CPT/PT训练数据的能力，提升预训练和持续训练数据的知识覆盖度、有效性与任务适配性。 4. 为模型注入自动化训练与自动化Infra调优能力，包括Verl、Megatron等框架的训练策略优化、RL超参搜索、训练稳定性提升、SGLang、vLLM推理效率优化等，提升模型研发效率和性能上限。 5. 研究基于self-evolving、long-horizon等范式的能力增强方法，提升模型在自迭代任务中的长期规划、任务分解、多步执行与自主反馈优化能力。 6. 跟踪相关领域前沿进展，结合实际问题开展算法创新、实验验证和系统落地，沉淀可复用的方法与能力。
1. Benchmark全生命周期体系建设 （1）负责大模型Benchmark评测体系的设计、开发与迭代。 （2）支持模型研发过程中的多维评测任务，包括能力评估、边界测试、badcase轨迹分析与归因。 （3）构建评测数据闭环，推动评测结果反哺模型训练与优化策略。 2. 评测任务托管平台研发与服务化 （1）主导大模型评测任务调度平台的架构设计与核心功能开发，支持高并发、多租户、可配置的任务管理。 （2）实现评测流程的标准化、自动化与服务化，提升研发团队的评测效率与资源利用率。 （3）提供API服务、可视化看板及运维支持能力。 3. 通用技术组件与基础设施研发 （1）支持ATH事业群通用组件研发，包括日志采集分析、系统监控告警、网络接入网关等基础能力。 （2）推动组件标准化与复用，降低业务接入成本，提升整体研发效能。
1、负责项目的前期规划、需求分析、技术方案设计、资源协同与调配等工作。 2、负责项目进度把控、质量保障、风险管理及问题整改工作。 3、对所负责项目进行有效成本控制，确保目标达成。 4、负责团队人员的管理，提升团队整体能力，提升项目质量。 5、负责项目过程中的沟通协调，解决复杂问题。
千问（Qwen）是由阿里巴巴研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 我们期望打造世界一流的预训练 LLM 基座，开发涵盖参数量从几百M到T级的基座模型，并将作为 Qwen / QwenVL / Qwen-Omni / Qwen-Coder 等系列模型的基座。我们追求将现有的预训练技术做到极致，并积极探索下一代的预训练技术。 工作职责： 1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向 test-time scaling 的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law 预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model 优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于实现理解生成一体化的世界模型，达成“交互”和“创造”两大目标。本方向专注于研发视觉生成技术的突破，其中研究内容包括但不限于：理解生成一体化、视觉生成等，充分探索相关数据及训练方法研究，以期解决计算机视觉基本问题的同时，为 AI 赋予创造力，理解世界及预测未来世界。 工作描述： 1. 下一代理解生成一体化的模型结构设计与研发，探索 Autoregressive LLM 、Diffusion、及两者结合的多种技术路线。 2. 研究及探索世界模型的多模态训练数据及对应训练策略。 3. 设计及研发自动化评估方法设计与实现，为模型研发提供科学指导。