美团【基座大模型北斗实习】大模型复杂推理前沿研究
任职要求
1、熟悉NLP、LLM、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验； 2、熟悉Python、C++等至少一门编程语言，熟悉LINUX环境； 3、熟悉 Megatron、DeepSpe…
工作职责
简介：Reasoning（推理）是大模型理解和处理信息的核心能力，是通用智能水平逼近的重要观测维度。本课题聚焦于探究生成式模型的高级推理发生机制，提升大模型在复杂任务上的推理表现。 研究内容包括但不限于： 1、复杂任务推理应用效果优化，诸如逻辑推理、数学推理、代码推理、跨模态推理、多模型决策等。 2、RL scaling，通过大规模强化学习持续提升模型推理能力。 3、Test time scaling，通过增加inference时消耗的算力持续提升模型推理能力。
简介：大语言模型后训练前沿算法研究包括但不限于： 1、对齐算法研发：包括 SFT 数据建设，指令微调等。构建高质量的训练数据，包括自动化数据清洗、合成数据生产、高质量 Prompt Engineering 等。优化模型复杂指令遵循、逻辑推理、创作写作、代码生成以及工具调用等能力，提升模型综合能力和用户体验。 2、人类偏好对齐：包括奖励模型、人类偏好对齐等前沿强化算法的探索和实践，提升模型在包括创意写作、对话风格以及模型内生安全对齐等人类偏好上的可控性，生成更符合人类价值观、逻辑习惯和审美偏好的内容。 3、跟踪并实现最新的后训练技术（如数据领域自动化配比、后训练机制设计和优化等）。
Post-training是联结大模型通用知识和人类偏好的桥梁，在规范知识输出、提升推理能力、对齐人类偏好等方面起到了关键作用。本课题专注于大模型Post-training相关前沿算法研究，包括但不限于： 1）训练机制设计和优化：包括数据建设、指令微调，人类偏好和安全对齐，奖励模型、强化学习及效果评估等方向，优化模型文本创作、逻辑推理、指令遵循、代码生成、工具调用等能力，提升模型可控性和安全性。 2）Post-training前沿研究：面向下一代推理基座的架构设计，test-time compute训练范式，思维链学习，多智能体和自博弈强化学习，提升模型的复杂任务处理能力和智能水平。
本课题探索大模型垂直领域知识高效增强方法，包括数据策略、训练策略以及scaling law友好的训练方法，打造适配实际应用所需的基座能力。研究内容包括但不限于： 1） 大模型基座知识能力增强，通过大规模continue pretrain打造生活服务领域基座，赋能美团各类大模型应用场景。 2）探索预训练增强阶段的大规模高质量数据自动合成、Scaling Law、长链条复杂推理反思能力增强。 3）建设生活服务chat模型与智能体，通过强化学习等方式增强模型推理反思、复杂指令遵循、高情商交互等能力，支撑大模型在生活服务领域的应用。
简介：我们认为，训练智能体系统的核心在于训练对任意复杂的环境进行合理交互、并在复合guidance 信号下充分进行系统级长程任务解决。这里，环境向真实物理世界演化是一个可以预见的方向，从而依赖模型在动态的、存在时序自变化的多模态环境下的探索与交互能力。为了激发这样的能力，一方面，我们认为游戏是一个高度可验证、同时充满训练潜力的场景；另一方面，如 minecraft / 原神 以至更复杂的开放世界环境更可以作为智能体系统在进行真实物理世界训练之前的一个练兵场。 具体的，我们关注如下研究目标： 1、探索通过在高度多样、丰富的游戏任务下进行大规模智能体训练，提高模型面对一般多模态场景的交互与融合模态推理能力。 2、探索趋向于真实物理世界的开放世界建模，为模型在真实物理世界下的训练和模拟训练提供坚实基础。 3、训练模型在动态、时序变化的开放世界下，自主进行感知、观察、探索、交互、任务推进的能力，并预期这样的能力作为真实物理世界训练的坚实前置基础，可以 minimize 所需的高成本真实物理世界训练量。