美团【基座大模型北斗实习】大模型训练研究

任职要求

1、GPU编程：写过CUDA kernel，理解warp/SM/显存层次结构；
2、训练框架：用过或改过Megatron/DeepSpeed/FSDP，不只是跑过demo；
3、通信系统：了解NCCL原理，或…

工作职责

简介：大模型的能力上限，很大程度取决于训练系统的天花板。我们在做的事：让千亿参数的模型在万卡集群上跑得更快、更稳、更省——把每一张GPU的算力榨干，把每一次训练崩溃的损失降到最低，把工程师等待结果的时间从“几天”压到“几小时”。

1、分布式训练框架优化
①深入源码，针对美团训练场景做定制化改造。
②设计和实现更高效的张量并行、流水线并行、数据并行混合策略。
③探索 MoE（混合专家） 模型的并行训练方案，解决专家负载均衡、通信爆炸等硬问题。
2、计算效率优化
①基于 CUDA / Triton 编写和优化高性能算子（FlashAttention、FusedMLP等）。
②分析训练 profiling 数据，定位计算/通信/内存的瓶颈并针对性优化。
③推进混合精度训练、梯度压缩等技术落地。