高德地图高德-大模型训练架构研发工程师-AI Infra-信息算法专项
任职要求
1. 工程基础：具备扎实的工程算法基础，精通数据结构和算法，能熟练使用编译、调试及性能剖析工具定位系统级问题。 2. 实现能力：拥有出色的工程实现能力，精通C++/Python，具备高性能代码的开发和优化经验。 3. 系统经验：拥有大规模分布式系统或机器学习基础设施的开发和优化经验。 4. 加分项（满足其一或多项即可）：1）有大规模模型训练优化经验…
工作职责
1. 构建后训练专用高性能架构，支持从SFT到RLHF/Agentic RL的全流程调优，为RM模型训练、PPO等复杂算法提供千卡级别的超大规模分布式训练支持，攻克特定阶段的性能瓶颈。 2. 打造极致推理与服务引擎，优化针对RLHF/Agentic RL流程中多个模型的交互式推理链路，通过编译优化、动态批处理、量化等技术，实现高吞吐、低延迟的模型服务，确保用户体验的流畅性。 3. 释放异构硬件最大潜能，深入CPU/GPU/NPU等底层硬件，通过CUDA内核定制、通信库优化（如RDMA）及MLIR/TRITON等编译技术，旨在将硬件性能压榨到极致，以应对高德海量用户与场景的挑战。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
【部门介绍】引擎架构部提供小红书搜广推，CV和NLP业务的深度学习模型高性能AI Infra服务。主导SOTA AI Infra架构设计与核心模块开发，支撑AI业务在大规模多模态生成式搜广推等前沿场景上规模落地。 【岗位职责】 1、开发支持下一代多模态生成式搜广推超大规模（百亿-万亿级）模型的GPU千卡互联分布式训练框架。 2、通过分布式并行/流水线/通信优化或ZeRO等，消除大规模分布式训练通讯/计算/内存瓶颈。 3、通过Triton，TileLang计算图编译优化或者使用CUDA/cutlass编写高性能算子，将硬件性能压榨到极致，最大化发挥出CPU/GPU等异构硬件协同算力。 4、支撑业界领先的多模态模型在国内最大的生活兴趣社区上落地。
1. 深入参与美团 GenAI 大规模基础设施建设 2. 负责美团大规模基座模型训练框架架构迭代，稳定性、易用性、可运维能力和可观测能力建设 3. 负责高达数万卡规模和数万亿参数的大规模训练性能优化