美团【基座大模型北斗实习】大模型复杂推理前沿研究
任职要求
1、熟悉NLP、LLM、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验； 2、熟悉Python、C++等至少一门编程语言，熟悉LINUX环境； 3、熟悉 Megatron、DeepSpe…
工作职责
简介：Reasoning（推理）是大模型理解和处理信息的核心能力，是通用智能水平逼近的重要观测维度。本课题聚焦于探究生成式模型的高级推理发生机制，提升大模型在复杂任务上的推理表现。 研究内容包括但不限于： 1、复杂任务推理应用效果优化，诸如逻辑推理、数学推理、代码推理、跨模态推理、多模型决策等。 2、RL scaling，通过大规模强化学习持续提升模型推理能力。 3、Test time scaling，通过增加inference时消耗的算力持续提升模型推理能力。
简介：探索下一代 Agent-Native 基础设施。方向覆盖数据计算与商业分析、精准营销与广告投放、个人助理与智能服务三大场景，致力于用 AI Agent 重构人与数据、人与服务的交互方式。 【技术方向】 1、DataAgent 核心基建：攻坚复杂长周期任务的调度架构，解决大规模数据流转下的上下文治理、长期记忆与状态流控难题。 2、BA 场景工具链：构建高扩展性数据处理 Skill 体系与安全高效的代码执行沙盒，支持 Agent 智能调度高并发数据流处理工具。 3、精准营销 Agent：基于海量用户行为数据的宏观统计与微观推理，探索精细化需求理解与大小模型协同的高效系统设计。 4、Skill 体系与模型优化：探索 Skill 的表示、调度与自进化机制；推进 Agentic RL、自适应推理等模型训练与调优工作。 5、智能服务新范式：建立 C 端个人 Agent 与 B 端服务 Agent 的连接，研究智能体架构优化、推理成本控制与长期记忆提升。
简介：千亿参数、万亿Token、万卡集群——预训练的核心命题只有一个：在极限规模下，让每一张GPU都跑满，每一次迭代都不浪费。这是工程复杂度最高、也最能锻炼系统能力的地方。 你可能会做以下方向研究： 1、超大规模分布式训练 ①设计和优化ND并行（EP/CP/DP/TP/PP）+ MoE并行混合策略，支撑万亿参数模型训练。 ②深入 Megatron-LM 内核，针对美团模型架构做定制化设计、改造，性能优化。 ③解决流水线气泡、显存碎片、梯度累积等大规模训练特有的工程难题，细粒度控制平衡计算通行的精度和效率。 2、计算 & 算子优化 ①基于 CUDA / Triton 开发高性能训练算子（FlashAttention变体、FusedMLP、RMSNorm等）。 ②推进 8bit、4bit 混合精度训练落地，在精度与速度之间找到最优平衡。 ③通过 profiling 定位热点，把MFU（模型算力利用率）推向理论上限。 3、通信链路优化 ①深挖 NCCL / RDMA / InfiniBand 通信性能，优化 AllReduce/AllGather/MoE层Dispatch/Combine 等集合通信原语。 ②结合网络拓扑设计通信-计算重叠策略，让通信开销近乎透明。 4、稳定性 & 大规模容错 ①构建万卡级自动故障检测、弹性容错、断点续训机制。 ②设计高效的异步checkpoint方案，千亿模型保存时间压到分钟级。 ③开发训练健康度监控系统：loss异常、梯度爆炸、卡间通信超时等实时告警。 5、存储 & 数据IO ①解决 PB级预训练语料的高并发高吞吐读取问题。 ②设计 tokenized 数据的分布式缓存与预取，IO不成为训练瓶颈。
简介：打造 world class，production ready 的大模型推理引擎，可根据个人背景和研究兴趣选择以下方向之一深入推进： 1、异构硬件高性能推理算子研究与开发。 2、Model System Co -design，充分利用硬件特性。 3、Scale up & scale out 分布式推理系统设计，高效可靠的推理调度体系。 4、投机推理算法研究与落地。 5、模型/KVCache 量化算法研究与算子开发。
简介：大模型架构优化探索，算法工程协同设计，涉及到训练和推理的各类算法和工程策略探索落地。参与美团基座大模型项目，包含但不限于： 1、大模型高效架构设计探索（高效attention，moe架构等）。 2、预训练 / 后训练算法工程策略。 3、投机推理算法工程策略。 4、模型轻量化策略（剪枝，量化，稀疏，蒸馏，结构搜索等） 。 5、Agentic coding系统优化策略。