小红书【2027校招】大模型训练框架研发工程师

工作描述

任职要求
1、精通 PyTorch，具备训练框架源码级阅读与修改能力，有实际性能优化经验。
2、熟练掌握 Megatron、DeepSpeed、veRL、Slime、AReal、OpenRLHF 中至少一种框架的使用与二次开发。
3、理解分布式训练核心技术，包括 TP、PP、DP、ZeRO、序列并行、梯度累积、混合精度训练等。
熟悉 RLHF、DPO、PPO、GRPO、OPD、MOPD 等4、大模型算法流程，有实际训练调优或框架开发经验优先。
5、具备模型训练性能分析经验，能借助 Nsight Systems / Compute、nvprof、PyTorch Profiler 等工具定位训练性能瓶颈。
6、具备良好的工程实现能力、沟通协作能力和问题闭环意识。
加分项：
1、有千卡级大模型训练或后训练实战经验，成功解决过跨节点通信、容错训练、显存优化、训练稳定性等生产级问题。
2、熟悉 NCCL / RDMA / InfiniBand / RoCE 等高性能网络通信机制，能独立定位跨机通信瓶颈。
有 CUDA Kernel 开发经验，如 Fused Op…