蚂蚁金服【Plan A】AI工程师(大模型算法与系统协同优化)-百灵(实习)
实习兼职蚂蚁星- Plan A人才计划实习地点:北京 | 上海 | 杭州 | 成都状态:招聘
工作描述
任职要求 1. 深入理解分布式训练体系(TP / PP / SP / EP / CP 等); 2. 熟悉主流大模型训练框架底层实现(Megatron / DeepSpeed / FSDP 等); 3. 熟悉 CUDA / NCCL / 通信优化原理; 4. 能从算法目标反推系统架构设计; 5. 具备从第一性原理推导系统设计的能力; 6. 对 scaling law 与系统瓶颈具有直觉判断; 7. 敏捷思维与良好协作能力,能与算法研究员进行深度技术对话。 加分项: 1. 有 100B 以上 MoE 模型预训练系统经验; 2. 有强化学习 / RLHF / Agentic 训练系统经验; 3. 有 FP8 / FP4 混合精度工程落地经验; 4. 有长上下文(100K+)训练与推理优化经验; 5. 有超大规模集群稳定…
登录查看完整工作描述
微信扫码,1秒登录
包括英文材料
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
DeepSpeed+
https://www.youtube.com/watch?v=pDGI668pNg0
FSDP+
https://docs.pytorch.org/tutorials/intermediate/FSDP_tutorial.html
In DistributedDataParallel (DDP) training, each rank owns a model replica and processes a batch of data, finally it uses all-reduce to sync gradients across ranks.
https://www.youtube.com/watch?v=PjEwLgyzuzQ
FSDP provides a comprehensive framework for large model training in PyTorch.
CUDA+
https://developer.nvidia.com/blog/even-easier-introduction-cuda/
This post is a super simple introduction to CUDA, the popular parallel computing platform and programming model from NVIDIA.
https://www.youtube.com/watch?v=86FAWCzIe_4
Lean how to program with Nvidia CUDA and leverage GPUs for high-performance computing and deep learning.
NCCL+
https://developer.nvidia.com/nccl
The NVIDIA Collective Communication Library (NCCL) implements multi-GPU and multi-node communication primitives optimized for NVIDIA GPUs and networking.
还有更多 •••
相关职位
校招2027届蚂蚁星
1. 深入理解分布式训练体系(TP / PP / SP / EP / CP 等); 2. 熟悉主流大模型训练框架底层实现(Megatron / DeepSpeed / FSDP 等); 3. 熟悉 C
更新于 2026-05-14北京|上海|杭州
实习蚂蚁星- Pla
1. 计算机、人工智能、数学、统计学或相关专业博士及以上学历,面向应届毕业生; 2. 熟悉 Transformer、语言模型训练和常见后训练方法,能够使用 PyTorch 完成模型实验与分析; 3.
更新于 2026-05-12北京|杭州
校招2027届蚂蚁星
1. 计算机、人工智能、数学、统计学或相关专业博士及以上学历,面向应届毕业生; 2. 熟悉 Transformer、语言模型训练和常见后训练方法,能够使用 PyTorch 完成模型实验与分析; 3.
更新于 2026-05-14北京|杭州