通义通义实验室-训练优化算法工程师-通义千问
任职要求
1. 拥有计算机科学、软件工程或相关领域的学士及以上学位，博士及硕士优先。 2. 对深度学习框架有深入理解，了解其内部工作机制。 3. 熟悉 GPU / CPU 并行计算原理，具备分布式训练系统设计经验。 4. 熟悉 Transformer 架构以及大语言模型基础知识。 5. 强烈的责任心和解决问题的能力，注重细节且目标导向。 6. 良好的团队合作意识，愿意分享知识并接受新的挑战。 7. 关注技术创新，…
工作职责
Qwen正在寻找热衷于挑战的你，加入我们训练效率及稳定性优化的队伍。我们的工作重点是在不影响模型性能前提下提高大模型训练的 MFU，同时与网络/服务器/存储等相关运维团队共同保障训练过程中的有效训练时间占比，保障模型的按期交付，以支持模型规模及数据规模的持续 scaling。 工作职责： 1. 在提高训练速度但不牺牲模型质量的前提下，设计并实施训练优化方案，包括但不限于优化算子效率、算子融合、计算通信优化、并行策略优化等。 2. 日常分析训练过程中的性能瓶颈，并提出有效的解决方案。 3. 优化长序列场景下模型训练的耗时及显存使用情况。 4. 快速排查定位训练过程中出现的各种问题，与运维团队共同构建自动化监控与故障诊断体系，确保训练环境的高可用性。 5. 开发与维护用于训练、测试、评估的工具链，简化开发人员的工作流程。 6. 结合最新的研究成果，跟进模型结构的可能改动，推动训练框架的持续演进，保持 Qwen 在技术前沿的地位。
我们在力争打造最好的 AGI 模型的同时，也在实现最高效以及成本最优的推理服务，让AI进一步实现普惠。当前，Qwen的推理优化的工作目前主要关注高并发 serving（Qwen Chat 以及API服务）下的算法侧以及系统框架侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。 1. 开展高效模型结构相关探索，验证推理性能以及对模型精度的影响。 2. 开展 Post-training 相关推理效率优化技术探索，包括不限于模型稀疏化、蒸馏、fast decoding 等，提升模型整体推理性能，推动在产品&开源侧落地。 3. 与 LLM 预训练 & Post-training、VL、Audio、omni 等算法相关同学深入合作，支持团队模型相关推理效率需求，帮助团队技术落地。 4. 跟进业内最新模型&技术进展，例如超长序列、o1 等，尝试&探索新的推理优化方向以及机会。 5. 配合团队模型产品上线以及开源节奏，接入公司内部推理框架以及主流的开源框架（例如 vLLM、SGLang 等）中，负责模型精度以及推理性能。算法系统联合优化。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 我们期望打造世界一流的预训练 LLM 基座，开发涵盖参数量从几百M到T级的基座模型，并将作为 Qwen / QwenVL / Qwen-Omni / Qwen-Coder 等系列模型的基座。我们追求将现有的预训练技术做到极致，并积极探索下一代的预训练技术。 工作职责： 1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向 test-time scaling 的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law 预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model 优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 我们在力争打造最好的 AGI 模型的同时，也在实现最高效以及成本最优的推理服务，让AI进一步实现普惠。当前，Qwen的推理优化的工作目前主要关注高并发 serving（Qwen Chat 以及API服务）下的算法侧以及系统框架侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。 1. 开展高效模型结构相关探索，验证推理性能以及对模型精度的影响。 2. 开展 Post-training 相关推理效率优化技术探索，包括不限于模型稀疏化、蒸馏、fast decoding 等，提升模型整体推理性能，推动在产品&开源侧落地。 3. 与 LLM 预训练 & Post-training、VL、Audio、omni 等算法相关同学深入合作，支持团队模型相关推理效率需求，帮助团队技术落地。 4. 跟进业内最新模型&技术进展，例如超长序列、o1 等，尝试&探索新的推理优化方向以及机会。 5. 配合团队模型产品上线以及开源节奏，接入公司内部推理框架以及主流的开源框架（例如 vLLM、SGLang 等）中，负责模型精度以及推理性能。算法系统联合优化。
团队背景：淘宝文本搜索算法团队是淘天集团内专注于创新和优化搜索技术的核心团队。我们的任务是通过持续研发高效、精准的搜索算法，以提升用户的在线购物体验和满意度，进而推动电商平台的商业成功。 工作职责 1. 和淘宝电商搜索业务紧密结合，设计和改进机器学习模型的架构，实现高效的搜索大型模型训练和推理系统（特别是大规模语言模型，GPT、LLaMA、通义千问等），确保其高效性和准确性，以提高计算性能和加速模型收敛 2. 进行搜索在线模型的性能分析和调优，识别和解决瓶颈问题，提高模型的训练和推理速度，以适应并充分利用硬件资源，确保在高效计算资源利用的前提下，提供快速响应的搜索业务体验 3. 应用不限于剪枝、量化、知识蒸馏、分布式计算（数据并行、模型并行、混合并行）等技术来优化模型的复杂度和运行速度，同时探索模型在样本、训练、存储和推理的极致性能 4. 和工程团队协同，实施并维护自动化工具和流程，以简化和加速模型训练和推理的部署过程 5. 研究最新的机器学习和深度学习技术，跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队的技术发展，并将其应用到淘宝搜索生产环境中 6. 参与设计和优化淘宝整体搜索系统，包括多阶段漏斗设计和整体链路设计，确保系统的稳定性和高效性