通义通义实验室-RL Infra工程师-Qwen
任职要求
1、来自全球 Top 高校计算机科学、人工智能、机器学习、深度学习、软件工程，或相关领域应届毕业生，博士/硕士毕业生优先。 2、对深度学习框架有深入理解，了解其内部工作机制；熟悉 GPU/CPU 并行计算原理，具备分布式训练系统设计经验；熟悉Transformer架构以及 MoE、Sparse/Linear Attention 的基本原理和实现方式。 3、熟悉常见的训练框架（例如 Megatron-LM、FSDP 等）/ 推理框架（例如 SGLang、vLLM 等）、RL框架（例如 Verl、Slime、OpenRLHF 等），有独立修改底层代码的经验，能过独立在 Infra…
工作职责
我们正在构建大规模、可扩展的强化学习训练框架，支持 Qwen 模型从单轮到 Agentic RL 的全链路高效训练。通过算法和工程的 Co-design，我们将持续研究更高效的模型训推方案、进一步扩大 RL Scaling 的规模，提高 Qwen 的 Reasoning 和 Agent 能力，探索模型的智能上限。诚邀优秀的 Infra 同学加入！ 1、在不同的 RL 负载下提升训推框架的整体效率，对通信、内存、计算等性能瓶颈进行针对性分析与优化，提高训推引擎的资源利用率和系统峰值吞吐。 2、研究极致的显存优化方案、低精度量化技术、异步训推方案，通过工程与算法 Co-design 来优化训练曲线的稳定性、提高训推一致性等。 3、研究推理实例的负载优化与调度策略，缓解负载不均衡带来的资源闲置，提高缓存利用率和多轮命中率，建立高效的健康监测与容错恢复机制。 4、研究大规模跨机 EP 的性能优化；推理引擎参数更新的效率优化；MTP 优化和投机推理技术等。 5、提高 Qwen-Agent 调用链路的稳定性和易用性，保障 Agentic RL Scaling 过程中高并发环境的可靠性。适配不同的 Agent 任务、在不同场景下进行针对性的深度优化。 6、参与下一代基础设施建设，针对下一代 Qwen 系列模型进行结构适配、分析不同负载的性能瓶颈并持续优化。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 视觉语言理解能力是Qwen最重要的能力之一，围绕 LLM 建设出具有视觉深度理解与推理能力的基座模型是团队的必经之路。结合视觉理解和推理能力的基础模型，将拓展到视频理解，GUI Agent，以及VLA 和机器人等场景中。团队负责：1）多模态基础模型的研发，包括融合视觉语言的跨模态理解模型设计，提升视觉基础模型在图像/视频中的视觉知识、空间感知、Omni Parsing等核心能力，并优化多模态大模型AI infra；2）探索多模态Agent和推理能力，构建支持网络世界（PC/Mobile/Web/游戏）交互的通用智能体；3）研究生成与理解统一的模型架构，实现跨模态生成与推理的协同优化。 工作职责 1. 多模态Pre-training：开展研究及进行实验。研究内容包括：数据清洗与筛选、数据配比优化、课程学习、视觉语言模型结构设计与优化、训练策略优化、预训练数据合成、scaling law预测、词表优化、模型蒸馏与压缩、长上下文能力优化等。 2. 多模态Post-training：迭代Post-training训练策略（SFT/RLHF），专项能力数据迭代，参与模型能力评测及评测数据和评估标准的迭代。 3. 多模态推理和通用Agent：通过强化学习（RL）持续提升多模态模型推理能力和执行任务能力，打造多模态的Test Scaling Laws，并推动模型对网络和虚拟世界的交互和任务完成能力。 4. 统一理解生成：构建视觉统一理解生成大模型，推进多模态统一生成与理解的推理和交互新范式。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 视觉语言理解能力是Qwen最重要的能力之一，围绕 LLM 建设出具有视觉深度理解与推理能力的基座模型是团队的必经之路。结合视觉理解和推理能力的基础模型，将拓展到视频理解，GUI Agent，以及VLA 和机器人等场景中。团队负责：1）多模态基础模型的研发，包括融合视觉语言的跨模态理解模型设计，提升视觉基础模型在图像/视频中的视觉知识、空间感知、Omni Parsing等核心能力，并优化多模态大模型AI infra；2）探索多模态Agent和推理能力，构建支持网络世界（PC/Mobile/Web/游戏）交互的通用智能体；3）研究生成与理解统一的模型架构，实现跨模态生成与推理的协同优化。 工作职责 1. 多模态Pre-training：开展研究及进行实验。研究内容包括：数据清洗与筛选、数据配比优化、课程学习、视觉语言模型结构设计与优化、训练策略优化、预训练数据合成、scaling law预测、词表优化、模型蒸馏与压缩、长上下文能力优化等。 2. 多模态Post-training：迭代Post-training训练策略（SFT/RLHF），专项能力数据迭代，参与模型能力评测及评测数据和评估标准的迭代。 3. 多模态推理和通用Agent：通过强化学习（RL）持续提升多模态模型推理能力和执行任务能力，打造多模态的Test Scaling Laws，并推动模型对网络和虚拟世界的交互和任务完成能力。 4. 统一理解生成：构建视觉统一理解生成大模型，推进多模态统一生成与理解的推理和交互新范式。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从亿级到万亿级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于深度参与大模型训练系统优化与高性能推理服务构建，聚焦于算法与系统协同设计，推动大模型在效率、稳定性与成本上的持续突破。若你对以下任意一个方向感兴趣均欢迎投递： 1. 模型训练优化：在不影响模型性能前提下提高各尺寸模型在大规模分布式预训练训练的 MFU，以支持模型规模，数据规模及支持模态的持续 scaling；持续进行RL训练框架的开发和优化，提高训练推理协同效率和大规模训练下的稳定性及可扩展性；同时与网络/服务器/存储等相关运维团队共同保障训练过程中的有效训练时间占比，保障模型的按期交付。 2. 模型推理优化：高效以及成本最优的推理服务，让AI进一步实现普惠。团队推理优化的工作目前主要关注高并发serving（Qwen Chat以及API服务）下的算法侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从亿级到万亿级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 若你对以下一个或者多个方向感兴趣均欢迎投递： 1）多模态基础模型的研发，包括融合视觉语言的跨模态理解模型设计，提升视觉基础模型在图像/视频中的视觉知识、空间感知、Omni Parsing 等核心能力，并同时优化多模态大模型的AI infra。 2）通过强化学习（RL）持续提升多模态模型推理能力和执行任务能力，构建支持网络世界（PC/Mobile/Web/游戏）交互的通用智能体，将相关能力拓展到GUI agent，VLA，以及具身智能场景中。 3）研究理解与生成统一的模型架构，实现跨模态生成与推理的协同优化。 工作职责： 1. 多模态 pre-training：开展研究及进行实验，研究内容包括：数据清洗筛选、数据配比优化、课程学习、视觉语言模型结构设计与优化、训练策略优化、预训练数据合成、scaling law 预测、词表优化、模型蒸馏与压缩、长上下文能力优化等。 2. 多模态 post-training：迭代 post-training 训练策略（SFT/RLHF），专项能力数据迭代，参与模型能力评测及评测数据和评估标准的迭代。 3. 多模态推理和通用 agent：通过强化学习（RL）持续提升多模态模型推理能力和执行任务能力，打造多模态的 test scaling laws，并推动模型对网络和虚拟世界的交互和任务完成能力。 4. 统一理解生成：构建视觉统一理解生成大模型，推进多模态统一生成与理解的推理和交互新范式。