美团大模型训练异构系统工程师
任职要求
1. 有扎实的计算机理论基础，熟练掌握C++或Python语言 2. 具备良好的问题分析和一定的解决能力，具有较好的学习能力和好奇心驱动 3. 熟悉NLP类模型训练场景，有GPT，LlaMa 1/2等相关知识和经验者优先 4. 熟悉视觉类，多模态大模型训练场景，有ViT， Swin Transformer, Stable Diffusion, MoE相关知识和经验者优先 5. 熟悉Meg…
工作职责
1. 围绕大模型异构训练集群，尤其是非NV GPU大规模异构硬件集群，面向大模型预训练、Finetune等场景进行新模型使能，系统分析/优化，业务支撑等工作，包括分布式优化框架，AI框架，网络集合通信，算子等方面内容 2. 参与美团机器学习平台建设，构建非NV GPU大规模训练场景软件栈和算法迭代Pipeline 3. 负责NLP类大模型的训练端到端流程，包括训练使能，系统调优，关键指标分析和统计，问题定位等工作，支持常见生成式NLP类大模型，包括但不限于LlaMa 1/2, GPT, BLOOM等 4. 负责视觉类，多模态大模型的训练端到端流程，包括模型使能，系统调优，关键指标分析和统计，问题定位等工作，支持常见的视觉类，多模态大模型，包括但不限于ViT，Swin Transformer，Stable Diffusion, MoE等 5. 负责大模型分布式优化框架的系统分析，性能调优，特性开发，问题定位等工作，支持常见的大模型分布式优化框架，包括但不限于Megatron, DeepSpeed, FSDP等 6. 负责PyTorch在非NV GPU场景下系统分析，性能调优，问题定位等工作 7. 负责常见的大模型训练场景下高性能Kernel算子的关键指标分析和统计，融合开发，性能优化等工作 8. 负责大模型不同规模卡数训练场景下集合通信/NCCL关键指标分析和统计，系统定位/调优等工作 9. 负责与NV GPU相同场景进行Benchmark评测，对比验证，性能分析等工作
寻找顶尖的Data&AI复合人才，加入国际一流国内领先的阿里云自研大数据平台MaxCompute团队，共同构建和完善MaxCompute下一代AI原生的计算引擎。在这个团队，您将会和我们一同解决业界面临的超大规模网页文本数据的处理、去重、分类等计算任务的优化，从系统层面到算法实现层面，全面挑战和拓展业界在该领域计算效率的极限指标。 该职位会在MaxCompute Data+AI团队，基于分布式原生Python计算框架MaxFrame，进行大规模离线LLM推理在大规模文本处理场景中的研究和开发。 岗位职责包括： 1、大模型的量化调优，在较低内存和CPU算力的环境中，依然可以达到较高的token处理和生成速率； 2、常用推理框架(e.g. vLLM、Llama.cpp)，在网页文本处理任务上的性能调优，特别是针对质量分计算或者打标场景的调优； 3、中低端GPU对于小参数LLM(1.5B/3B/7B/14B等规格）的推理性能调优。
1. 大模型训练系统研发：构建支持百亿～万亿参数规模的高性能分布式训练框架，覆盖稠密模型与稀疏MoE模型，探索万卡级别的扩展与调度优化； 2. 大规模分布式推理系统优化：构建支持超长序列的并行推理引擎，结合缓存管理、自动并行、量化、蒸馏等手段优化成本与时延； 3. 强化学习与对齐系统建设：研发多种强化学习与对齐算法（如SFT、RM、RLEF等），提升模型在数学、代码、多模态等领域的推理与对齐能力; 4. Agent系统与交互智能体研发：探索多工具、多Agent协同、复杂任务长链推理任务，构建奖励模型、环境沙箱、Tool-use机制，支撑未来具身智能与Agentic RL的发展； 5. 工程×算法融合创新：将前沿算法（如量化、剪枝、稀疏化、动态蒸馏、神经架构搜索等）落地到生产级系统，实现算法优化与系统性能双提升； 6. 工程&应用&业务结合方向，与算法、系统、业务团队紧密协作，在电商、内容生成、智能客服等超大流量场景中实现 LLM、VLM、Diffusion 等模型的工程闭环。
1、参与 LLM Agent 的预训练与后训练优化，提升模型在任务理解、指令跟随、多轮对话、工具调用等方面的表现； 2、对模型输出进行评测与误差分析，识别在幻觉、漏召回、格式偏差、工具误用、指令偏移、安全风险等方面的问题，并推动改进； 3、围绕Agent使用场景，设计multi-turn conversation、任务流程和工具使用样本，优化Agent 在复杂任务中的完成率与鲁棒性； 4、设计并构建高质量训练数据、评测集和对话样本，覆盖真实业务中的典型场景、边界场景与异常案例。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 工作职责： RL 后训练框架研发： 负责 Relax RL 后训练框架的核心研发，支持 SFT、DPO、PPO、GRPO、RLVR 等主流后训练范式，持续追踪并落地前沿算法。 RL Pipeline 优化： 设计高效的 RL 训练 Pipeline，优化 Rollout、Reward Model、Actor、Reference Model 等模块间的资源调度与动态协同，提升端到端训练吞吐。 分布式训练优化： 基于 Megatron、DeepSpeed、veRL 等框架，针对 RL 场景调优 TP / PP / DP / ZeRO / Sequence Parallel 等并行策略，在性能、显存与稳定性之间取得最优平衡。 千卡训练稳定性建设： 攻克大规模训练中的显存管理、跨节点通信、弹性容错、任务调度与数据流转等核心挑战，提升训练成功率与集群资源利用率。 异构芯片训练适配： 负责训练框架在国产异构计算芯片（昇腾 / PPU 等）上的适配与优化，完成模型迁移、算子支持、框架适配、Profiling 与 Kernel 调优，推动国产算力在训练场景的规模化使用。 后训练工具链建设： 构建端到端后训练工具链，打通训练框架与 MLOps 平台，提供训练可视化、自动超参搜索、故障诊断等生产级能力，降低算法团队使用门槛。 业务协同与算法探索： 与算法团队紧密协作，支撑 LLM / MLLM / Agent 等业务方向在 SFT 与 RL 领域的算法探索与工程落地。