阿里巴巴智能引擎-大模型高性能计算研发工程师/高级专家-AI Infra
任职要求
1. 工程与算法基础：计算机相关专业背景，有极佳的工程实现能力，精通 C/C++ 与 Python；具备扎实的数据结构与算法功底，熟练掌握 GDB / Nsight 等调试与性能分析工具。 2. 异构计算与底层技术：熟悉异构计算体系结构，包括但不限于现代 GPU 并行架构；熟练掌握CUDA 编程、Triton 和 Cutlass 等硬…
工作职责
1. 负责模型训练场景中高性能计算Pipeline的实现，通过访存算子优化、算子融合、MoE/Attention算子定制，实现精细化显存管理、最大化计算/访存效率。 2. 负责结合大语言模型、多模态理解生成模型、Agentic RL等场景的模型训练需求进行算子设计，实现模型-Infra的Co-Design。 3. 负责世界模型、实时生成交互等场景的高性能低延迟算子设计和实现，满足模型加速上线的需求。 4. 使用专业的Profiling工具和手段，对大模型训练的端到端性能进行分析，精准定位Kernel执行、数据搬运、通信等环节的瓶颈，并提出体系化的优化方案。 5. 跟进业界SOTA的高性能计算工作，调研并实施异构硬件在超大规模训练场景的落地方案。
我们是阿里巴巴大模型推理团队，负责内部 LLM/AIGC 百炼推理服务建设，为淘宝、天猫、聚划算、优酷、闲鱼等多个集团业务部门提供强有力的技术支撑和底层服务能力。 AI 高性能计算工程师负责探索不同AI芯片（NV，AMD, 华为昇腾, TPU, 寒武纪等）的底层架构，使用硬件手写原生 Kernel、 Trition/Tilelang 编译优化等手段，解决“从0到1”（跑通）和“从1到N”（跑得快）的关键问题。
通过技术创新支持阿里集团大模型研发快速迭代，主要工作内容和挑战如下： 1. 建设大规模强化学习的环境平台，增强大模型对齐Coding&Agentic等方面的能力。 2. 结合强化学习框架，优化强化学习效率，实现高效的大规模强化学习训练。 3. 建设覆盖各个领域场景的真实和仿真环境，支持大规模评测和Agentic后训练。 4. 将成熟的系统与算法成果发表于学术会议，并回馈开源社区（如 ROCK和ROLL等），持续提升在学术界与产业界的影响力。
通过技术创新支持阿里集团大模型研发快速迭代，参与从数据生产、训练到评测的大模型研发全流程，主要工作内容和挑战如下： 1. 建设大规模数据生产和评测的Agent基础设施，增强大模型在Coding&Agentic等领域的能力。 2. 结合后训练框架，优化强化学习效率，实现高效的大规模Agentic RL。 3. 将成熟的系统与算法成果发表于学术会议，并回馈开源社区（如ROCK和ROLL等），持续提升在学术界与产业界的影响力。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。