通义基础模型Infra研发工程师（训练/推理）
任职要求
1. 来自全球Top高校计算机科学、人工智能、机器学习、深度学习、软件工程，或相关领域应届毕业生，博士/硕士毕业生优先。 2. 对深度学习框架有深入理解，了解其内部工作机制；熟悉GPU/CPU并行计算原理，具备分布式训练系统设计经验；熟悉Transformer架构以及大语言模型基础知识。 3. 熟悉常见的训练框架（例如Megatron-LM、Verl等）/推理框架（例如vLLM、SGlang等），能够独立在infra上验证想法或者完成上线。 4. 对LLM的量化、蒸馏、剪枝、稀疏化的某一项或者几项有完整的研究经历或者实际的工业界落地经验。 5. 对LLM的推理有深入认知，可以做训练、推理的联合设计以提升全链路效率。 6. 在计算机体系结构、高性能计算、并行计算等领域有过研究经历；具备千卡规模大规模模型训练的实际操作经验者优先。 7. 在国际顶级计算机会议/期刊（如OSDI、SOSP、NeurIPS、ICML、ICLR、ACL、TPAMI、CVPR、ECCV 等）以一作身份发表论文，或在开源社区、计算机领域竞赛中有突出研究成果和项目经历。 8. MLSys方向的知名开源项目（Megatron、Verl、OpenRLHF、vLLM、SGlang等）贡献者优先。 9. 对基础模型的前沿问题有持续热情，具备独立思考能力和系统性研究思维，有强烈的责任心和解决问题的能力，敢于挑战现有范式。能够独立应用技术解决复杂问题，完成 idea 的验证和模型的训练/推理。 10. 具备跨学科视野与协作意识，能够与工程、产品等多学科团队紧密合作，推动研究成果快速落地并产生实际影响力。
工作职责
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从亿级到万亿级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于深度参与大模型训练系统优化与高性能推理服务构建，聚焦于算法与系统协同设计，推动大模型在效率、稳定性与成本上的持续突破。若你对以下任意一个方向感兴趣均欢迎投递： 1. 模型训练优化：在不影响模型性能前提下提高各尺寸模型在大规模分布式预训练训练的 MFU，以支持模型规模，数据规模及支持模态的持续 scaling；持续进行RL训练框架的开发和优化，提高训练推理协同效率和大规模训练下的稳定性及可扩展性；同时与网络/服务器/存储等相关运维团队共同保障训练过程中的有效训练时间占比，保障模型的按期交付。 2. 模型推理优化：高效以及成本最优的推理服务，让AI进一步实现普惠。团队推理优化的工作目前主要关注高并发serving（Qwen Chat以及API服务）下的算法侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、解决公司大模型的系统、算法中的中长期难题； 2、系统难题包括但不限于：大规模Pretrain分布式训练，RL训练，LLM推理； 3、算法难题包括但不限于：模型结构优化，优化器；算法与工程高度结合； 4、工作灵活，可以自由参与各种技术讨论，自己发现问题，并解决问题。
研究方向一：大模型分布式后训练技术 1.样本IO吞吐优化：使用多线程读取、数据管道流水线编排、数据压缩等技术，实现分布式环境下高性能的样本IO pipeline； 2.计算图编译与高效执行：通过图编译、Kernel优化、算子融合等手段，提升计算图的执行效率； 3.高性能并行训练：包括DP/TP/PP/SP/CP/EP等并行策略及其他训练超参数的自动寻优，故障自动恢复，弹性计算等； 4.强化学习训练效率优化：通过rollout速度优化、多模型多阶段流水线编排、负载均衡等手段优化RL训练效率。 研究方向二：大模型推理加速技术 1.负责实现和优化大模型在线推理系统，提升推理性能，包括不限于：架构设计、算子开发、通信优化等； 2.研究并实现各种模型推理加速手段如并行策略（DP/TP/PP/EP/CP）、混合精度、MOE、FP8等技术，加速模型推理速度； 3.设计和开发高效的离线、在线推理系统，优化SGLang、vLLM等推理框架，加速整体推理性能； 4.关注跟进最新的AI Infra进展，并高效的将最新的技术应用到实际业务中。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、探索研发针对大语言模型、多模态大模型、StableDiffusion模型等模型的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件，制定不同的模型压缩方案并在业务落地；
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 2、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等； 3、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。