美团【基座大模型北斗实习】大模型预训练研究
实习兼职核心本地商业-基础研发平台地点：北京 | 上海状态：招聘
工作描述
任职要求 1、具备 CUDA kernel 开发和 Profile 能力，理解并行计算、存储层级架构，或具备国产AI算力开发经验； 2、改过 Megatron-LM / DeepSpeed / FSDP 源码（不是只跑过）； 3、了解 NCCL 原理 或有 RDMA / 网络协议栈经验； 4、MLSys / OSDI / SOSP / ISCA 等系统顶会论文； 5、PyTorch / Megatron 开源贡献记录。 工作职责 简介：千亿参数、万亿Token、万卡集群——预训练的核心命题只有一个：在极限规模下，让每一张GPU都跑满，每一次迭代都不浪费。这是工程复杂度最高、也最能锻炼系统能力的地方。 你可能会做以下方…
登录查看完整工作描述
微信扫码，1秒登录
包括英文材料
CUDA+
https://developer.nvidia.com/blog/even-easier-introduction-cuda/
This post is a super simple introduction to CUDA, the popular parallel computing platform and programming model from NVIDIA.
https://www.youtube.com/watch?v=86FAWCzIe_4
Lean how to program with Nvidia CUDA and leverage GPUs for high-performance computing and deep learning.
内核+
https://www.youtube.com/watch?v=C43VxGZ_ugU
I rummage around the Linux kernel source and try to understand what makes computers do what they do.
https://www.youtube.com/watch?v=HNIg3TXfdX8&list=PLrGN1Qi7t67V-9uXzj4VSQCffntfvn42v
Learn how to develop your very own kernel from scratch in this programming series!
https://www.youtube.com/watch?v=JDfo2Lc7iLU
Denshi goes over a simple explanation of what computer kernels are and how they work, alonside what makes the Linux kernel any special.
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
还有更多 •••
相关职位
实习核心本地商业-基
1、硕士及以上学历，计算机、人工智能、数学、NLP等相关专业，博士优先； 2、在大模型领域有研究基础，或参与过有影响力的开源项目，在ICLR/NeurIPS/ICML/ACL等顶会发表论文者优先； 3
更新于 2026-04-03北京|上海
实习核心本地商业-基
1、具有扎实的编程功底，熟悉 C++/CUDA 编程最佳； 2、深入理解 Transformer/MoE/Attention 等 LLM 概念； 3、熟悉 RDMA，PD 分离等技术； 4、有一手的开
更新于 2026-04-03北京|上海
实习核心本地商业-基
1、熟悉一些常用的深度学习框架和大规模训推框架（比如megatron，verl，vllm，sglang等等），在大模型上有训练和推理算法工程优化实际经验的优先； 2、熟悉机器学习和深度学习理论，具备扎
更新于 2026-04-03北京|上海
实习核心本地商业-基
1、了解 PPO / GRPO / DPO 算法原理，最好动手实现过； 2、用过 veRL / OpenRLHF / TRL 等RL训练框架； 3、有 vLLM / SGLang / TensorRT
更新于 2026-04-03北京|上海