阿里巴巴超大规模后训练关键技术研究-阿里星
任职要求
1、熟悉深度学习基本原理、主流深度学习算法及应用、以及至少一种主流框架(PyTorch、TensorFlow等)； 2、熟悉Megatron、vLLM、Sglang、VERL、ROLL等框架技术，并在研究或实习项目中有相应的实践经历； 3、熟悉RL的基础算法，包括PPO、GRPO等经典RL算法； 4、具备扎实的计算机基础…
工作职责
我们持续关注大模型后训练的多种场景，重点优化攻坚下面场景： 1、支持超长序列的模型的高效训练； 2、支持推理模型的高效训练，支持包括Agent RL、Search RL等多种有挑战的训练范式； 3、研发训推分离的RL框架，结合阿里云Cloud的基础设施来最大化提升训练的迭代速度。
1.负责广告数据计算平台设计和开发，支持万亿级数据的交互式圈人、洞察、归因、报表场景。 2.负责广告定向数据产品研发，能提供架构设计和优化方案，并从技术上推进产品的快速迭代。 3.紧跟业界前沿，探索增强分析、智能营销助手等创新场景的技术解决方案。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
我们持续关注大规模模型训练的性能和效率，我们重点关注下面几个方向： 1、通过专注的分布式训练框架的优化，持续提升超大规模语言模型的训练效率、性能和稳定性； 2、我们关注多种异构硬件设备，通过多种技术的优化来提升异构计算的性能； 3、通过算法系统一体的联合优化，在持续提升算法效果的前提下支持算法模型的快速迭代。
专注于超大规模分布式LLM推理系统的研究、探索和开发，具体职责包括： 1、探索高性能的、可扩展的分布式LLM推理引擎，支持超大规模LLM的高效部署； 2、深入优化高性能算子、运行时、分布式策略等，打造业界领先的LLM推理引擎； 3、分析现有引擎和典型负载的性能瓶颈，提出并实现创新的优化技术； 4、结合阿里云PAI平台产品服务，提供可靠高效的引擎技术方案，支持客户加速模型推理； 5、针对LLM重点场景构建业界领先的优化解决方案。