小米大模型推理增强研究实习生

职位描述： 我们正在寻找专注于提升大模型在科学推理领域能力的研究员，重点优化模型在人文社会科学、心理学、哲学、数学、物理、生物/医学、化学、计算机科学/人工智能、工程等领域的理解与推理能力，推动大模型在复杂科学问题上的表现，使其能够解决类似人类高水平考试中的问题。 岗位职责： 1. 优化模型推理能力：研究并优化大模型在数学、物理、生物/医学、计算机科学、工程、人文社科、心理学、哲学、农学等领域的推理能力。 2. 开发科学基准测试：构建科学推理任务与评测方法，衡量模型在复杂学术问题上的表现。 3. 训练数据集构建：收集和整理高质量的科学数据，以支持模型强化学习训练。 4. 多模态推理：结合文本、公式、图像、实验数据等多种数据类型，探索提升大模型科学推理能力的方案。

大模型的知识能力和知识推理能力是基础模型重要的能力之一，拥有足够强大的基础知识能力能够更好地解决大模型在知识类问题上的问答、幻觉、推理、分析、推理甚至是规划反思能力。此外，对于实际应用层的agent落地更离不开基础模型的知识和推理能力，没有足够强大的基础知识和推理能力做支撑，则会在planning、拆解、工具调用等能力上出现大量幻觉，从而导致无法获取正确的结果。

本课题探索大模型垂直领域知识高效增强方法，包括数据策略、训练策略以及scaling law友好的训练方法，打造适配实际应用所需的基座能力。研究内容包括但不限于： 1） 大模型基座知识能力增强，通过大规模continue pretrain打造生活服务领域基座，赋能美团各类大模型应用场景。 2）探索预训练增强阶段的大规模高质量数据自动合成、Scaling Law、长链条复杂推理反思能力增强。 3）建设生活服务chat模型与智能体，通过强化学习等方式增强模型推理反思、复杂指令遵循、高情商交互等能力，支撑大模型在生活服务领域的应用。

大模型的科学知识和文本推理能力是体现大模型智能程度的重要标准，而如何通过大规模算力显著提高大模型的相关能力目前仍是亟待被探索的。本项目旨在研究通过相关预训练数据挖掘合成、专项post-training优化、reward模型构建等技术提升大模型的专项能力并进一步反哺给通用模型。 拟解决的技术问题包括但不限于： -科学、文本推理类预训练数据的高效挖掘、构建 -科学、文本推理类数据的大规模自动合成 -科学、文本推理类能力的自动评测建设 -科学、文本推理类能力的post-training专项优化 -科学、文本推理类能力的reward model专项优化