通义研究型实习生-大语言模型的科学推理能力增强
任职要求
1.计算机及相关专业的博士或硕士研究生；
2.对LLM有充分的兴趣；
3.加分项：有科学类垂类方向优化的经验。工作职责
大模型的科学知识和文本推理能力是体现大模型智能程度的重要标准，而如何通过大规模算力显著提高大模型的相关能力目前仍是亟待被探索的。本项目旨在研究通过相关预训练数据挖掘合成、专项post-training优化、reward模型构建等技术提升大模型的专项能力并进一步反哺给通用模型。 拟解决的技术问题包括但不限于： -科学、文本推理类预训练数据的高效挖掘、构建 -科学、文本推理类数据的大规模自动合成 -科学、文本推理类能力的自动评测建设 -科学、文本推理类能力的post-training专项优化 -科学、文本推理类能力的reward model专项优化
研究领域： 人工智能 项目简介： 大语言模型近年来在自然语言处理领域取得了显著进展，但在处理高难度数学问题和复杂编程任务时，仍面临着推理能力不足和精度不够的问题。数学和代码问题通常涉及深层次的逻辑推理、符号推导和多步骤的推理过程，而这些任务要求模型能够准确地理解并生成符合数学或编程逻辑的解答。本课题旨在研究如何提升大语言模型在高难度数学推理和代码生成方面的能力，尤其是增强其对复杂问题的理解、推理和解决过程。通过创新的技术手段，本课题希望能够推动模型在这些领域的应用和实用性，进一步拓展大语言模型的应用边界。
随着大语言模型（LLM）在自然语言处理中的推理能力不断提升，越来越多的研究开始关注其在代码领域的应用。本项目聚焦于提升大语言模型在代码生成、代码修复以及代码推理等方面的表现。为了进一步优化模型的性能，本项目将采用强化学习（RL）技术，通过自我反馈和动态调整来提高模型在复杂代码任务中的理解与生成能力。 我们专注于解决以下关键技术问题： 1. 面向代码的推理数据构建：我们将开发面向代码合成的数据集，设计代码推理链，并探索可扩展的监督学习方法，为强化学习模型提供高质量的输入数据。 2. 面向代码的强化学习策略：我们将设计更高效的训练算法，并探索强化学习在人类反馈（RLHF）和人工智能反馈（RLAIF）领域的应用，以优化模型在代码生成与修复任务中的表现。
研究领域： 人工智能 项目简介： 近年来，大语言模型和多模态大模型的迅速发展解锁了众多应用场景，包括视觉指令跟随和长视频理解，最近的一些开源方法也已经在提升流式视频处理能力方面有所进展，但它们在交互流畅性和感知能力方面仍然存在不足。本项目旨在对流式视频理解和交互方向加大投入，在多模态大模型视觉内容理解、动态变化跟踪和精确时间对齐等方面进行算法创新，并尝试挖掘其对视频交互中风险动作和风险对话的识别能力，为依赖视频交互能力的各业务场景带来新的突破。
研究领域： 人工智能 项目简介： 大语言模型(LLM)和多模态大模型(MMLM)的发展为推荐系统带来了新的生机。相较于传统推荐模型依赖协同过滤信息进行建模，大语言模型因其强大的泛化和推理能力，可以更好地对物品、内容进行关联、分析用户行为和偏好，从而具备处理复杂场景中复杂用户行为的潜力。但同时，虽然大语言模型在理解和生成自然语言方面表现出色，但它们在处理推荐系统中数据稀疏、特征异构、训练和部署效率等方面仍存在众多挑战。本项目旨在对传统推荐模型、大语言模型甚至多模态大模型进行联合建模，以期取长补短，更有效地利用多模态异构信息，从而进一步提升推荐模型表现。 主要的挑战包括但不限于： 1. 大语言模型的编码效率问题：LLM的训练及推理成本随编码的信息量增加而快速膨胀，如何高效地对长用户行为序列进行多模态编码是联合建模相关探索的基础问题。 2. 多模态信息融合问题：物品、内容存在大量不同模态且异构的信息，如何有效地对多模态信息进行融合，是保障联合建模效果的重要问题。 3. 联合建模的模态差异化优化问题：不同模态在拟合速度、信息权重等方面存在天然差异，如何在联合建模过程中平衡和调节不同模块的优化是联合建模的难点。