米哈游大模型训推平台开发工程师
任职要求
- 计算机科学与技术、软件工程、人工智能等相关专业，本科及以上学历 - 5 年以上分布式训练系统或 K8s 平台研发经验 - **K8s 调度**：精通 kube-scheduler framework / scheduler plugins 机制，**具备 Volcano 二次开发实战经验**（Kueue / YuniKorn 等其他调度器有同等深度经验者亦可，但需对 Volcano 源码有独立阅读能力），理解 Gang Scheduling、队列、拓扑感知调度的实现 - **分布式训练框架**：精通 Megatron-LM / DeepSpeed / PyTorch FSDP 中至少一个的内部机制（数据并行 / 张量并行 / 流水并行实现、通信图、checkpoint 机制），具备千卡级训练任务调优实战经验 - **通信库**：深入理解 NCCL 内部（拓扑发现、ring / tree / NVLS 算法、QP 与 buffer 管理），具备 NCCL 参数调优与代码阅读能力 - **GPU 互连**：熟悉 NVLink / NVSwitch / Fabric Manager 工作机制，理解 NVLink 域概念及其对训练并行…
工作职责
1. NVL72 内部 GPU 拓扑（机柜内 NVLink fabric、Compute tray ↔ NVSwitch tray 关系、跨柜 rail）的发现、上报与节点标签化 2. K8s 调度器（Volcano 二次开发 + kube-scheduler framework）的 GB300 rail-aligned 调度策略、Gang Scheduling 适配、跨柜 binpack / spread 策略实现与上线 3. 训练任务启动器（Launcher）的 NVL72 拓扑注入、ENV 配置、`NCCL_TOPO_FILE` 自动生成 4. Megatron-LM / DeepSpeed / PyTorch FSDP 在 NVL72 单机柜内的并行策略最佳实践（TP / PP / DP 切分边界与 NVLink 域对齐） 5. NCCL 在 NVL72 内部高带宽（NVLink 5）+ 跨柜 RDMA 混合拓扑下的深度调优：算法选择（ring / tree / NVLS）、QP 数、buffer 大小、IB HCA 绑定 6. 训练框架与 NCCL 的代码级 patch、问题上游回报与社区跟进 7. NVL72 故障域（机柜级 NVLink down、NVSwitch tray 故障、Compute tray 故障）下的训练任务断点续训、整体重试与节点替换语义 8. 训练任务级慢卡 / 慢柜检测：在 all-reduce 时延、step time、GPU SM/Mem 利用率等多维度做联合识别 9. 与 Operator 组、硬件运维 GB300 专项组配合落地"机柜级故障 → 节点替换 → 训练续跑"端到端链路
1、负责大模型训推平台的架构设计与开发，支持业务在模型开发、训练、评估、优化、推理部署等全生命周期的需求，确保平台的高可用性和可扩展性； 2、与算法、训推引擎团队紧密合作，构建超大规模计算/存储资源管理，面向多模态、Agentic的训推体系能力； 3、优化大模型训练效率和稳定性，建设数据可观测性、效果&服务稳定性保障和排查机制、资源任务调度优化能力； 4、支持训推结合和模型优化，结合MTP、QAT、蒸馏技术、以及自动化评估系统，构建高性能和精度保障的模型压缩优化能力。
1、负责文生图、文生视频等自研大模型核心算子的自研开发与性能优化，基于CUDA、OpenAI Triton等工具实现高性能计算加速； 2、针对AI Infra大模型推理与训练场景，优化混合精度量化策略，设计低比特计算、稀疏化压缩等方案，提升模型部署效率； 3、深入GPU/Tensor Core硬件架构，优化显存管理、计算图调度及分布式通信，提升模型训练吞吐与资源利用率； 4、搭建端到端模型推理流水线，探索多模态生成任务下的算子融合、动态编译等创新优化手段； 5、协同算法团队完成模型轻量化落地，提供量化感知训练（QAT）、模型剪枝等技术支持。
1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优； 2、研究低bit量化、稀疏化attention等解码加速技术，在保障精度前提下显著降低计算资源消耗； 3、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。
1、负责文生图、文生视频等自研大模型核心算子的开发与性能优化，基于CUDA、OpenAI Triton等工具实现高性能计算加速； 2、针对MaaS平台AI Infra大模型推理场景，研发性能领先业界的推理引擎，通过研发框架优化、量化、算子优化等技术，大幅降低机器成本； 3、深入训练、微调、RL场景，研发前沿的优化技术，提升模型训练吞吐与资源利用率； 4、搭建端到端模型推理流水线，探索多模态生成任务下的算子融合、多种KVCache优化等创新优化手段。