小红书大模型训练基础架构工程师
任职要求
1. 有扎实的工程算法基础，精通数据结构和常用算法，熟练掌握各种编译、调试、性能分析工具。 2. 精通C/C++/CUDA，具备扎实的系统底层能力（内存、并发、网络）。 3. 有大规模分布式系统开发和优化经验；有大模型分布式训练经验者优先。 4. 精通MLIR/TVM/Triton/Torch Inductor/TileLang/…
工作职责
【部门介绍】引擎架构部提供小红书搜广推，CV和NLP业务的深度学习模型高性能AI Infra服务。主导SOTA AI Infra架构设计与核心模块开发，支撑AI业务在大规模多模态生成式搜广推等前沿场景上规模落地。 【岗位职责】 1、开发支持下一代多模态生成式搜广推超大规模（百亿-万亿级）模型的GPU千卡互联分布式训练框架。 2、通过分布式并行/流水线/通信优化或ZeRO等，消除大规模分布式训练通讯/计算/内存瓶颈。 3、通过Triton，TileLang计算图编译优化或者使用CUDA/cutlass编写高性能算子，将硬件性能压榨到极致，最大化发挥出CPU/GPU等异构硬件协同算力。 4、支撑业界领先的多模态模型在国内最大的生活兴趣社区上落地。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。
1、负责千卡以上大规模混合模态大模型强化学习训练框架建设，调研和实现业界先进的强化学习方法，并探索算法工程结合的训练方法创新设计，实现模型性能和训练效率的双提升； 2、参与奖励系统、工具系统交互的设计与研发，打造高效率的可持续扩展架构；并通过线上链路的联合设计保障模型训练效果的对齐，保障模型在事实性、复杂任务规划解决等方面的能力提点可以落地千问App。
