美团【LongCat实习】大模型预训练数据科学与模型潜力前沿研究
任职要求
1.硕士及以上学历，计算机、人工智能、数学、NLP等相关专业，博士优先； 2.在大模型领域有研究基础，或参与过有影响力的开源项目，在ICLR/Neur…
工作职责
本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘，建立数据与模型能力之间的因果联系，打造下一代万亿基座模型的高效数据引擎，致力于提升基座模型的智能上限。研究内容包括但不限于： 1.研发基于模型的高效数据质量评估、去重与清洗算法，提高数据质量、多样性和覆盖度。 2.深入探究数据分布与模型能力的因果关系，建立“训练数据-模型效果”归因机制，探索并突破基座模型的能力上限。 3.探索自动化数据筛选机制、动态配比（Data Mixture）与多阶段训练范式，探索不同类型数据对模型能力的Scaling Law。 4.构建科学、多维度的基座模型能力和潜力评估，驱动预训练数据策略的优化，形成高效的数据迭代闭环。 【为什么是我们】 1.明确的技术判断：团队在原生多模态方向有非共识的长期投入，已发布 LongCat-Next 技术报告（离散自回归原生多模态），不是跟随式的能力补齐。 2.顶级资源支撑：5～6万卡计算集群，万亿参数文本基座已训练完成，多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。 3.主线与探索并行：既承担多模态基座的核心交付工作，也推进下一代原生多模态架构的前沿探索，覆盖"数据→tokenizer→预训练→后训练→RL"全链路。
你将加入 LongCat Agent 算法团队，与一线研究员共同推进下一代智能体的范式探索。具体方向包括但不限于： 1.Agentic RL 基础算法研究：探索面向长程多步任务的强化学习训练范式，包括稀疏奖励下的信用分配、过程奖励建模、自我博弈与多智能体协同、可扩展的 reward modeling，以及训练稳定性与样本效率优化。目标是实现Agent 能力增长的主引擎； 2.Search Agent 能力构建：研发面向开放域复杂查询的搜索智能体，覆盖多轮检索规划、查询改写、证据聚合、多源信息冲突消解与可信溯源。重点突破"深度研究"类长程任务（Deep Research）的端到端 RL 训练，让模型在数十步检索-推理交织中保持目标产出高质量分析内容。 3.生活服务助理 Agent：解决美团真实业务环境中（餐饮、出行、到店、履约等多业务横跨）实现智能助理的基础问题，研究多工具长链调用、澄清和主动服务、个性化记忆与偏好建模、跨会话状态管理，以及面向真实用户反馈的RL 闭环。这里的复杂度来自亿级用户、千万级 SKU 与多步骤决策构成的真实环境。 【为什么是我们】 1.稀缺场景：直接接触亿级真实用户、跨业务多步决策的复杂环境，是当前业界最稀缺的 Agent 训练土壤； 2.充足资源：充足算力、丰富多模态数据、专属带教导师、顶级 infra 团队支持； 3.研究自由：明确鼓励技术探索，有机会参与顶会论文产出，研究成果可服务亿级真实用户实现学术与产业双闭环； 4.成长路径：北京 / 上海双地 base，扁平协作、与算法/Infra/产品高密度共事，快速成长为下一代 Agent 技术骨干。
1.负责大模型推理引擎的研发和优化，包括推理系统优化、模型量化压缩和模型部署； 2.负责开发和维护基于大规模数据的推理引擎； 3.参与解决推理过程中的技术难题，提升推理算法的性能和效果； 4.开展相关领域的技术研究，提出创新性的解决方案。
本岗位覆盖以下主要技术方向： 1.方向一：文本/多模态预训练 • 设计和优化千亿级参数大模型的分布式训练系统，支持文本基座预训练和原生多模态训练的正确性、性能和稳定性 • 负责训练框架核心模块（通信、调度、容错、Checkpoint、数据加载）的架构设计和性能优化，在同等硬件条件下持续提升训练吞吐 • 协同算法迭代和硬件演进，针对新模型架构（MoE、超长序列、多模态融合）快速完成训练适配和性能验证 • 作为工程Pipeline的上游起点，持续推进训练Infra的架构迭代方向 2.方向二：强化学习框架 • 构建并提升在线RL训练系统的性能和Scale能力，打通策略更新、环境交互、奖励建模的端到端训练流程 • 支持Chat/Thinking/Agentic以及未来多种RL范式（PPO/GRPO/DPO等），和算法Codesign推进RL架构迭代 • 设计高效的Actor-Critic架构、经验回放机制和分布式采样系统 • 负责RL训练的性能瓶颈分析和优化，包括GPU利用率提升、通信开销降低、训练稳定性保障 3.方向三：异构算力适配 • 建设迭代多种异构算力（GPU/NPU等）的验证和适配方案，包括稳定性保障、精度验证和高性能runtime • 开发调优GPU和NPU架构的通信算子，推进超节点架构的最佳实践 • 面向RL采样场景，深入优化NPU架构的推理性能 • 跟踪硬件生态发展，评估新硬件的技术价值，输出选型建议和规模化落地方案 4.方向四：高性能内核 • 定制开发高性能计算内核，深入发掘GPU/NPU等不同硬件架构的优化空间 • 推进算子开发范式的迭代，探索自动化算子生成（如LLM辅助生成高性能kernel）
我们在探索通过数据优化及大规模RL的方式，持续提升模型的核心基础能力和复杂生产力场景解决困难问题的能力。让模型具备深度思考与可靠行动的特性，推动模型在真实复杂任务中实现从“会说”到“会做”的跨越。 团队在以下方向上进行探索，若你对以下一个或者多个课题感兴趣均欢迎投递： 1.大模型核心基础能力优化 围绕指令遵循、幻觉缓解、复杂推理、智能体规划等关键能力，研究并开发高效的后训练与对齐方案。 深入分析模型行为，通过数据策略、奖励建模、训练范式创新等，系统性提升模型的可靠性与实用性。 2.大规模强化学习与多目标RL训练 研究大规模强化学习（RL）及多目标强化学习的训练方案，突破RL在超大模型上的训练稳定性与扩展性问题。 构建可长期演进、稳定高效的RL Scaling训练管线，从算法、系统、数据等多维度推动模型能力持续提升。 3.长周期场景下的复杂推理与工具调用 聚焦Long Horizon任务中的多步推理、工具使用与自主智能体能力，设计并实现前沿优化方案。 探索包括高质量数据合成、长上下文管理、长上下文强化学习、过程监督、搜索与规划结合等关键技术，提升模型在复杂真实场景下的表现。 【为什么是我们】 1.团队扁平，人才密度高，美团“顶尖人才计划”比例高，近年团队在ICLR、NeurIPS、ICML、ACL等顶会累计发表论文数十篇，团队员工获EMNLP/ACL等Outstanding Paper； 2.参与大语言模型核心技术研发，接触大规模RL、超长上下文、分布式训练和推理优化等前沿技术； 3.充足算力保障，拥有大规模分布式训练环境和丰富数据资源。