腾讯算力统一运行时技术的研究
1、跟踪业界最新强化学习领域算法/训练范式进展,完成大模型强化学习训练框架的设计与实现,提升大集群分布式训练性能,缩短模型迭代周期; 2、负责大模型SFT/蒸馏训练框架的设计与实现,提升分布式训练性能; 3、负责分布式大模型推理引擎的方案设计与实现,快速完成业界Sota模型的规模化上线服务; 4、负责异构计算芯片(GPU/NPU/ASIC等)的评估、选型以及计算加速引擎设计实现。
1. 围绕大模型异构算力集群,尤其是国产算力集群,面向大模型训练和推理场景支持算力评估、适配和落地维护,具体包括分布式优化框架,AI框架,网络集合通信,算子等方面内容 2. 负责大模型分布式优化框架的系统分析,性能调优,特性开发,问题定位等工作,支持常见的大模型分布式优化框架 3. 负责PyTorch在异构算力下系统分析,性能调优,问题定位等工作 4. 负责常见的大模型场景下高性能Kernel算子的关键指标分析和统计,融合开发,性能优化等工作 5. 负责大模型超万卡规模的集合通信/NCCL关键指标分析和统计,系统定位/调优等工作 6. 负责多种算力的Benchmark评测,对比验证,性能分析等工作
1. 围绕大模型异构算力集群,尤其是国产算力集群,面向大模型训练和推理场景支持算力评估、适配和落地维护,具体包括分布式优化框架,AI框架,网络集合通信,算子等方面内容 2. 负责大模型分布式优化框架的系统分析,性能调优,特性开发,问题定位等工作,支持常见的大模型分布式优化框架 3. 负责PyTorch在异构算力下系统分析,性能调优,问题定位等工作 4. 负责常见的大模型场景下高性能Kernel算子的关键指标分析和统计,融合开发,性能优化等工作 5. 负责大模型超万卡规模的集合通信/NCCL关键指标分析和统计,系统定位/调优等工作 6. 负责多种算力的Benchmark评测,对比验证,性能分析等工作