阿里巴巴超大规模训练/推理软硬协同技术研究-阿里星
任职要求
1、熟悉深度学习基本原理、主流深度学习算法及应用、以及至少一种主流框架(PyTorch、TensorFlow等)； 2、熟悉Megatron、TrasformerEngine、DualPipe等框架技术，并在研究或实习项目中有相应的实践经历； 3、具备扎实的计算机基础知识、C++/Python编程能力，熟悉常见数据结构和设计…
工作职责
我们持续关注大规模模型训练的性能和效率，我们重点关注下面几个方向： 1、通过专注的分布式训练框架的优化，持续提升超大规模语言模型的训练效率、性能和稳定性； 2、我们关注多种异构硬件设备，通过多种技术的优化来提升异构计算的性能； 3、通过算法系统一体的联合优化，在持续提升算法效果的前提下支持算法模型的快速迭代。
我们持续关注大模型后训练的多种场景，重点优化攻坚下面场景： 1、支持超长序列的模型的高效训练； 2、支持推理模型的高效训练，支持包括Agent RL、Search RL等多种有挑战的训练范式； 3、研发训推分离的RL框架，结合阿里云Cloud的基础设施来最大化提升训练的迭代速度。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
随着模型尺寸和数据规模的持续扩大，预训练任务已成为AI研究和发展中最为资源密集的环节之一。本项目旨在深入的理解预训练任务的workload特点，定位性能瓶颈，并进行优化从而降低预训练任务的成本开销。例如从显存，通信，计算优化等方面优化MoE大规模训练任务的吞吐，支持包括通义实验室等领域方向。
1.负责广告数据计算平台设计和开发，支持万亿级数据的交互式圈人、洞察、归因、报表场景。 2.负责广告定向数据产品研发，能提供架构设计和优化方案，并从技术上推进产品的快速迭代。 3.紧跟业界前沿，探索增强分析、智能营销助手等创新场景的技术解决方案。