通义研究型实习生 - 自我进化的多模态智能体方法研究
任职要求
1. 计算机科学、人工智能、机器学习或相关领域的在读硕士或博士。 2. 在多模态、大语言模型、Agent、机器学习等一个或多个领域有较深入的研究。 3. 具有出色的分析、解决问题的能力，能深入解决大模型训练、应用存在的问题，有自主探索解决方案的能力。 4. 能够积极创新，乐于面对挑战，负责敬业，优秀的团队合作精神，一起探索新技术，推进技术进步…
工作职责
1. 探索研究多模态大模型、GUI agent、AI memory、多模态RAG等前沿技术。 2. 参与研发多模态、全模态大模型等下一代人工智能核心技术，探索面向真实环境的多模态智能体多轮强化学习，提升大模型能力。 3. 负责跟踪和研究多模态大模型前沿技术调研、落地、对业务进行优化。
当前大模型（LLMs/MLLMs）在长对话和复杂任务链中面临上下文窗口限制和遗忘问题。尽管扩大上下文长度有所帮助，但其计算和推理成本高昂，且难以实现真正意义上的终身学习和经验累积。另一方面，现有模型在交互中往往缺乏个性化的体验，无法有效地捕捉、存储和召回与特定用户、特定场景相关的多模态经验。为了使大模型具备像人类一样从持续交互中学习、积累和灵活调度的能力，并实现从通用助手到私人智能伙伴的跃升，亟需构建一个高效、多层次、时间敏感的多模态记忆系统。这不仅能突破输入长度限制，还能通过跨模态信息的整合和知识的结构化，大幅提升模型在复杂场景下的鲁棒性、泛化能力和自我进化能力。 大模型多模态记忆增强研究项目，团队在多个方向上进行探索，若你对以下一个或多个课题感兴趣均欢迎投递： 1. 多层次记忆的构建与管理 2. 多模态记忆的嵌入与召回 3. 时间敏感的记忆调度策略 4. 记忆智能体（Memory Agent）的构建
研究领域： 人工智能 项目简介： 在医疗领域，基于大模型的医学诊疗规划和决策一直面临着医学推理能力弱（医学事实性不足）、依据不足（可信性不足）、精准个性化不够（指导性不足，存在过度医疗的伦理风险）等问题。我们旨在结合先进的大推理模型、海量的医疗数据和专业医学专家的知识，依次完成以下研究和落地： 1. 研究大模型推理理论，建设一批高水平专家 AI 诊断推理智能体。 2. 研究复杂多智能体交互协同框架。 3. 落地面向下一代的自我进化的精准诊疗规划和可信医疗决策系统。
研究领域： 人工智能 项目简介： 内生安全是近年来大语言模型研发中的一个关键研究方向。随着模型能力的快速增长，特别是推理模型，通过慢思考LongCoT的方式极大的提升了能力达到专家水平，然而强大能力也带来了潜在的安全风险。内生安全的目标是通过设计模型架构、推理机制或训练流程，使得模型在底层逻辑中具备一致性、自我审查和误差控制的能力，从本质上降低安全隐患，而不是简单依赖筛查和围栏过滤。 对于推理模型的内生安全而言，其主要难点在于 1. 可解释性不足，缺乏启发式策略和理论的结合。没有对推理模型有专门的内生安全性质的定义，形成数学的框架 2. 对抗能力缺失。由于模型较新且运行成本大，目前已有的jailbreak方法依赖大量试错的尝试，很难形成有效的攻防相互促进 3. 动态推理过程的监督。由于推理模型将思考过程进行展示，以往工作只关注在最后模型回复阶段，忽略了推理过程可能包含的风险 因此，可以再一下方向进行相关研究 1. 安全高效评估框架：针对推理模型研发专门的red team方法进行内生安全评估 2. 对抗训练：提出高效的对抗方法，通过posttrain方式提升内生安全 3. 内生安全奖励：在GRPO过程中，除了回复的helpful，也考虑harmless 4. 多模态场景下的推理安全：对图文视频音频等多模态输入，均在思考过程中进行安全检查等
1.探索基于数据驱动的高效后训练优化策略，以更高效地提升模型性能，降低计算资源的消耗。 2.探索推理路径优化方法，提高大语言模型在多步推理、逻辑推理及跨领域知识融合任务中的准确性，稳定性和可控性。 3.探索推理能力自适应提升技术，开发能够根据具体任务需求动态调整推理策略的自适应学习机制，使模型在不同场景下都能达到较高的推理效率和准确率。