阿里云阿里云智能-大模型训练系统研发工程师-PAI平台
任职要求
1. 计算机及相关专业背景，具备扎实的计算机基础与系统化思维能力，熟悉Python/C++语言和常用设计模式，具备复杂系统的设计开发调试能力。 2. 熟悉深度学习的基础理论概念，熟悉Transformer架构，熟悉主流大语言模型、多模态模型、自动驾驶、具身智能等模型特点。 3. 熟练PyTorch等领域常用框架，掌握Megatron、DeepSpeed、JAX、Verl、RLInf等不同训练框架的各自特点和细节。 …
工作职责
阿里云PAI团队致力于打造业界一流的一站式AI平台，拥有万卡级训练能力与超大规模异构资源调度技术，为复杂模型训练与推理任务构建坚实基座。PAI平台不仅是通义大模型研发与落地的核心基础设施，也作为公共云服务的关键载体，支撑众多行企业构建大模型核心业务。平台提供从数据标注、预处理、模型训练、推理服务到开发环境与工作流调度的全链路工程支持，全面覆盖AI项目从实验探索到规模化落地的完整价值链。作为大模型训练系统研发工程师，您将深度参与以下工作： 1. 负责PAI深度学习引擎的核心研发，重点突破MoE大规模训练、多模态（VLM/VLA）及Agentic RL（智能体强化学习）等前沿框架，覆盖Pretrain、SFT、RLHF/RLAIF等全生命周期训练任务的框架优化。 2. 针对超大规模模型负载，系统化分析训练各阶段瓶颈，通过数据加载加速、算子融合优化、通信库调优及分布式策略改进等手段，提升训练吞吐率。 3. 深入异构硬件底层，实现训练框架对多种新型加速卡的高效适配与性能调优。 4. 设计并实施超大规模训练任务的稳定性保障方案，构建高精度的故障检测与自动自愈系统；优化任务启动速度与断点续训机制，显著提升有效训练时长和任务成功率。 5. 构建智能体与环境交互的轨迹追踪系统及多种业界Benchmark适配体系，为LLM、自动驾驶、具身智能等领域提供便捷的底层基础设施支持。 6. 负责线上环境的实时监控、异常定位与性能诊断，建立快速响应机制；为头部客户提供专家级技术支持，保障平台服务的高可用性与高稳定性，助力客户业务顺利落地。
下一代AI应用场景复杂多样，对推理加速提出迫切需求。我们将系统性探索从服务化优化提升资源效能，到前沿压缩算法设计，再到高性能算子优化等关键层面，致力于构建一套灵活、高效的推理加速体系，为下一代AI技术的广泛落地与创新突破注入强劲动力。在这里，你将拥有充分的探索空间和资源支持，和我们一起挑战具有业界影响力的高价值课题。 核心职责与挑战 我们希望你对技术充满好奇，并具备出色的动手能力。在导师的指导下，你将参与到以下一项或多项富有挑战的工作中： 1. 下一代生成模型推理技术探索: a. LLM/MLLM: 探索针对AR的生成特点，探索超高倍投机采样、模型压缩、efficient attention、蒸馏等技术。 b. Diffusion: 探索sparse attention、cache、采样步数消减等技术。 c. 软硬结合的优化技术：探索极低比特量化、稀疏计算等硬件依赖的前沿加速技术。 2. 极致性能的推理引擎工程实践: a. 深入分析与优化现有推理框架（如vLLM, TensorRT-LLM等）的性能瓶颈，进行从算子到系统层面的全栈优化。 b. 精通CUDA/CUTLASS/Triton等底层编程技术，针对新型Transformer架构变种，手写高性能算子，压榨硬件的每一分潜力。 c. 设计和实现高效的KV Cache管理与压缩方案，优化请求调度与批处理策略，最大化系统吞吐并降低延迟。
1、负责大语言模型、视频模型、多模态模型的预训练和强化学习框架研发与优化 2、与算法团队深度合作，进行算法与系统的联合设计与优化 3、保持关注行业前沿技术，且有能力和热情开展创新研究
1. 参与深度学习框架的代码实现, 支持大模型训练和强化学习，提升系统速度和系统稳定性。 2. 持续扩充核心框架的功能和计算能力,优化系统的架构和模型设计。 4.调研分析海内外前沿技术实现，探索创新方向。
1、负责大语言模型预训练、强化学习训练框架研发与优化 2、与算法团队深度合作，进行算法与系统的联合设计与优化 3、保持关注行业前沿技术，且有能力和热情开展创新研究