阿里巴巴阿里国际站/Alibaba.com-大模型训练基础设施工程师-Accio
任职要求
1、扎实的工程能力，熟悉 Python，最好熟悉一种系统语言或高性能计算相关语言，例如 C++、CUDA、Rust 或 Go； 2、熟悉 PyTorch 生态，理解大模型训练的基本流程，包括 forward/backward、optimizer、checkpoint、activation checkpointing、mixed precision 等； 3、有分布式系统或大规模训练经验，理解 GPU 集群、NCCL、通信开销、显存瓶颈、吞吐优化和故障恢复； 4、对 Megatron、DeepSpeed、FSDP、SGLang、vLLM、TensorRT-LLM、Ray 等训练或推理系统中的至少一类有实际使用或开发经验； 5、理解大模型 post-t…
工作职责
1、支撑模型团队使用 Megatron 进行大规模分布式训练，处理 tensor parallel、pipeline parallel、data parallel、expert parallel、sequence/context parallel 等并行策略相关问题; 2、支撑模型团队使用 SGLang 进行高吞吐推理和 rollout，优化 batching、KV cache、prefill/decode 调度、长上下文稳定性和在线训练链路； 3、设计和实现面向更大模型规模的 post-training infra，降低训练资源成本，提高实验迭代效率和系统稳定性； 4、建设 profiling、benchmark、monitoring 和 debugging 工具，提升训练吞吐、GPU utilization、rollout 稳定性和故障定位效率； 5、与研究员和模型工程师紧密合作，把新的训练想法快速落地成可复现、可扩展、可长期维护的系统能力。
【部门介绍】引擎架构部提供小红书搜广推，CV和NLP业务的深度学习模型高性能AI Infra服务。主导SOTA AI Infra架构设计与核心模块开发，支撑AI业务在大规模多模态生成式搜广推等前沿场景上规模落地。 【岗位职责】 1、开发支持下一代多模态生成式搜广推超大规模（百亿-万亿级）模型的GPU千卡互联分布式训练框架。 2、通过分布式并行/流水线/通信优化或ZeRO等，消除大规模分布式训练通讯/计算/内存瓶颈。 3、通过Triton，TileLang计算图编译优化或者使用CUDA/cutlass编写高性能算子，将硬件性能压榨到极致，最大化发挥出CPU/GPU等异构硬件协同算力。 4、支撑业界领先的多模态模型在国内最大的生活兴趣社区上落地。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
1、负责千卡以上大规模混合模态大模型强化学习训练框架建设，调研和实现业界先进的强化学习方法，并探索算法工程结合的训练方法创新设计，实现模型性能和训练效率的双提升； 2、参与奖励系统、工具系统交互的设计与研发，打造高效率的可持续扩展架构；并通过线上链路的联合设计保障模型训练效果的对齐，保障模型在事实性、复杂任务规划解决等方面的能力提点可以落地千问App。