阿里巴巴智能引擎-大模型训练基础架构研发工程师/高级专家-AI Infra
任职要求
1. 工程与算法基础：计算机相关专业背景，有极佳的工程实现能力，精通 C/C++ 与 Python；具备扎实的数据结构与算法功底，熟练掌握 GDB / Nsight 等调试与性能分析工具。 2. 大规模分布式经验：有大规模分布式系统开发和优化经验。对现代 GPU 集群通信机制及 NCCL 等通信库原理有深刻理解，有大模型分布式训练工程经验者优先。 3. 算法工程协同设计：对 LLM、多模态等大模型结构及其核心算法流程有…
工作职责
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
通过技术创新支持阿里集团大模型研发快速迭代，主要工作内容和挑战如下： 1. 建设大规模强化学习的环境平台，增强大模型对齐Coding&Agentic等方面的能力。 2. 结合强化学习框架，优化强化学习效率，实现高效的大规模强化学习训练。 3. 建设覆盖各个领域场景的真实和仿真环境，支持大规模评测和Agentic后训练。 4. 将成熟的系统与算法成果发表于学术会议，并回馈开源社区（如 ROCK和ROLL等），持续提升在学术界与产业界的影响力。
通过技术创新支持阿里集团大模型研发快速迭代，参与从数据生产、训练到评测的大模型研发全流程，主要工作内容和挑战如下： 1. 建设大规模数据生产和评测的Agent基础设施，增强大模型在Coding&Agentic等领域的能力。 2. 结合后训练框架，优化强化学习效率，实现高效的大规模Agentic RL。 3. 将成熟的系统与算法成果发表于学术会议，并回馈开源社区（如ROCK和ROLL等），持续提升在学术界与产业界的影响力。
1. 负责模型训练场景中高性能计算Pipeline的实现，通过访存算子优化、算子融合、MoE/Attention算子定制，实现精细化显存管理、最大化计算/访存效率。 2. 负责结合大语言模型、多模态理解生成模型、Agentic RL等场景的模型训练需求进行算子设计，实现模型-Infra的Co-Design。 3. 负责世界模型、实时生成交互等场景的高性能低延迟算子设计和实现，满足模型加速上线的需求。 4. 使用专业的Profiling工具和手段，对大模型训练的端到端性能进行分析，精准定位Kernel执行、数据搬运、通信等环节的瓶颈，并提出体系化的优化方案。 5. 跟进业界SOTA的高性能计算工作，调研并实施异构硬件在超大规模训练场景的落地方案。