蚂蚁金服研究型实习生-大语言模型针对高难度数学、代码问题的推理能力研究

随着大语言模型（如ChatGPT等）的广泛应用，各行业对个性化回复的需求日益增长。个性化回复不仅能提升用户体验，还能增强模型在特定领域的实用性和准确性，但个性化回复的实用性和效果仍存在优化空间。本课题旨在探讨如何利用大语言模型实现个性化回复，满足不同行业及用户的特定需求。通过对用户输入上下文和历史对话的深度分析，模型将能够生成更具针对性和相关性的回复，从而提高用户满意度和互动有效性，我们希望在大模型个性化回复的研究中解决以下技术问题： 1. 用户行为数据的挖掘与建模：研究如何有效地收集和分析用户的历史交互记录、偏好设置等信息，以实现更精准的个性化推荐和回复策略。 2. 多轮对话的上下文理解：提高模型在多轮对话中对于上下文信息的理解能力，确保模型能够根据先前的对话内容生成更连贯、相关的回应。 3. 情感分析与情感适应：探索如何利用情感识别技术，使模型能够根据用户的情绪状态调整回复的语气和内容，以提升用户的满意度和对话的自然性。 4. 实时反馈机制：研究如何快速获取用户对模型回复的反馈，并将其融入模型的学习过程中，从而在交互中不断优化个性化表现。 5. 多模态的能力：扩展模型的感知方式，在文本模态的基础上，支持图像、音频等多种模态，从跨模态数据中抽取用户的兴趣，提升用户体验。

研究领域： 人工智能 项目简介： 内生安全是近年来大语言模型研发中的一个关键研究方向。随着模型能力的快速增长，特别是推理模型，通过慢思考LongCoT的方式极大的提升了能力达到专家水平，然而强大能力也带来了潜在的安全风险。内生安全的目标是通过设计模型架构、推理机制或训练流程，使得模型在底层逻辑中具备一致性、自我审查和误差控制的能力，从本质上降低安全隐患，而不是简单依赖筛查和围栏过滤。 对于推理模型的内生安全而言，其主要难点在于 1. 可解释性不足，缺乏启发式策略和理论的结合。没有对推理模型有专门的内生安全性质的定义，形成数学的框架 2. 对抗能力缺失。由于模型较新且运行成本大，目前已有的jailbreak方法依赖大量试错的尝试，很难形成有效的攻防相互促进 3. 动态推理过程的监督。由于推理模型将思考过程进行展示，以往工作只关注在最后模型回复阶段，忽略了推理过程可能包含的风险 因此，可以再一下方向进行相关研究 1. 安全高效评估框架：针对推理模型研发专门的red team方法进行内生安全评估 2. 对抗训练：提出高效的对抗方法，通过posttrain方式提升内生安全 3. 内生安全奖励：在GRPO过程中，除了回复的helpful，也考虑harmless 4. 多模态场景下的推理安全：对图文视频音频等多模态输入，均在思考过程中进行安全检查等

研究领域： 人工智能 项目简介： 随着Agent技术被广泛应用于生产和日常生活场景，确保Agent框架的安全性与可信性已成为重要的研究课题。目前，Agent安全研究主要集中在大语言模型层面，而针对Agent系统整体架构（如工具组件、记忆系统、检索增强生成（RAG）组件等）的系统性安全评估与可信分析尚未得到充分关注。此外，随着全新形态和功能的Agent不断涌现，包括最近发布MCP agent框架，其可能引发的安全风险亦缺乏有效的评估机制。同时，Agent与工具之间、Agent之间的通信安全问题同样亟待研究。本项目致力于全面开展Agent系统框架的安全研究，提出系统性、综合性的安全评估方案。从模型安全，组件安全、通信安全到运行安全等多个维度，建立科学完善的评估体系，并提出具体的防御解决方案，实现Agent整体框架的可信构建与应用。

1.参与包括多模态基模型Pretrain、SFT等多个阶段的训练任务优化； 2.致力于提升不同阶段模型训练负载的极限吞吐，能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段，优化手段包括但不局限于算子优化、通信优化、分布式策略优化等； 3.参与训练框架对于不同硬件的支持和优化。