腾讯面向真实物理世界的多模态大模型研究

1、安全 Agent 系统研发： - 设计与构建面向真实安全场景的自主 AI Agent 系统，实现从目标理解、环境感知、工具调用到多步推理执行的端到端闭环； - 研究并实现 Agent 的核心能力模块，包括任务规划与分解、动态策略调整、反思与自修正、安全约束与人机协同机制； - 设计多 Agent 协作架构，实现检测、分析、研判、响应等安全运营环节的自动化协同。 2、安全领域 Agentic 模型训练： - 研究面向安全场景的大模型增强方案，包括安全领域持续预训练、指令微调、RLHF/RLEF 等技术路线，提升模型在安全专业任务上的推理与行动能力； - 构建安全领域高质量训练数据体系（攻防轨迹、工具调用序列、推理链标注等），设计面向 Agent 能力的训练目标与奖励函数。 3、评估与可信体系建设： - 建立安全 Agent 的标准化评估基准，覆盖任务完成率、推理准确性、鲁棒性、可控性等多维指标； - 研究 Agent 在对抗环境下的安全性问题（提示注入防御、行为边界约束、决策可解释性等）。

简介：本课题主要聚焦于真实世界中的搜索智能体遇到的实际问题，分别从基础指令遵循、模态扩展、交互形式和学习范式等四个方面进行研究： 1、智能体复杂指令遵循：大模型目前已经从实验室走向实际的生产环境，从关注Benchmark指标转为重视实际使用体验。真实使用场景以Train-Free + System Prompt的方式居多，其中System Prompt通常具有指令复杂、组合方式多样、变动频繁等特点。该方向主要研究内容有两点：一是大模型对于工具/Skill 调用的指令遵循能力；二是大模型对于复杂总结指令的遵循能力。 2、全模态深度搜索智能体：最真实的物理世界都是全模态的，所以搜索智能体不仅在输入上需要支持全模态，而且在整个搜索过程以及最后的结果呈现上都需要支持全模态。该方向主要研究怎么将已经比较成熟的搜索智能体从单一的文本模态扩展成同时支持文本、语音、图像等多种形式的全模态智能体，要解决全模态规划、深度推理、上下文管理和记忆带来的挑战。 3、主动交互深度研究智能体：智能体时代，所有的智能体都应该是一个具有自主意识的个体，能够主动提供服务。而当前的深度研究智能体，还处于被动给人提供信息的状态，基本不具有自主意识。该方向主要研究怎么让深度研究智能体具有自主意识、能够主动挖掘人类的真实意图、主动引导人类进行多轮互动，最终给人伙伴式体验并提升人的认知。 4、智能体学习范式：当前智能体学习范式以RLVR为主，但是RLVR具有奖励稀疏、适用范围有限、训练不稳定和训练成本高等缺点。该方向主要研究方向包括但不限于：熵机制研究、过程奖励模型（PRM）、开放问题rubrics-based RL、credit assignment、Thinking/Tool Call Budget等。

简介：真实世界中智能体应对长周期、多步骤、开放式的任务目标仍存在瓶颈，如多日旅行规划、专业领域深度研究等任务均呈现长交互轮次、多依赖子任务、全局约束严格的特征，当前智能体易出现上下文丢失、计划漂移、误差累积等问题，难以支撑超长轮次、超长时间的超长程任务执行。本课题研究方向包括但是不限于： 1、长程任务鲁棒规划：结合思维链（CoT）、思维树（ToT）等方法，实现复杂目标的可执行子任务拆解，兼顾子任务依赖关系与全局时间/成本约束；研究基于实时环境反馈的重规划机制，解决“模拟漂移”导致的计划与现实脱节问题，提升规划鲁棒性；设计高效的上下文管理与记忆压缩技术，避免长交互过程中关键信息遗忘，支撑超长序列任务的稳定执行。 2、开放环境动态适应：探索解决真实世界中目标模糊、环境多变、突发干扰下的任务持续执行难题。 3、高效学习范式：研究真实世界开放任务reward以及过程奖励设计方法，为长程任务中间步骤提供有效反馈，解决奖励稀疏问题；研究开放环境下的持续学习方法，避免“灾难性遗忘”，增强智能体在新场景、新任务中的泛化能力。

1、围绕搜索推荐系统中大规模特征生产链路复杂、数据血缘不清晰、特征复用率低、计算链路冗余严重等问题，开展面向特征工程智能治理的 Agent 系统研究与原型建设。参与构建 Feature Engineering Agent 系统，利用 Agent 的任务规划、工具调用、记忆机制、多步骤推理、结果校验与人机协同能力，实现对特征生产代码、任务 DAG、数据血缘和特征依赖关系的自动理解与治理。 2、参与设计和实现面向 SQL、Spark、Flink 等特征生产代码的解析工具链，并将代码解析、元数据查询、任务 DAG 查询、血缘分析、特征 profile 分析、资源成本估算等能力封装为 Agent 可调用工具。 3、研究特征血缘自动构建、冗余特征识别、特征复用推荐、特征依赖关系推理、DAG 优化建议生成等 Agent 工作流，使 Agent 能够在真实特征生产链路中完成复杂治理任务的拆解、执行、验证与解释。 4、探索单 Agent 与多 Agent 协作机制，构建 Code Understanding Agent、Lineage Agent、Feature Reuse Agent、DAG Optimization Agent、Risk Review Agent 等专业能力模块，支持复杂特征治理任务的自动化和半自动化处理。 5、参与构建 Agent 安全与可信机制，包括工具调用权限控制、结果证据追踪、置信度评估、幻觉检测、生产变更审批、风险提示与回滚建议，确保 Agent 输出可解释、可验证、可审计。 6、在真实搜索推荐业务场景中进行实验验证，评估 Agent 系统在血缘识别准确率、冗余特征发现率、特征复用推荐采纳率、计算资源节省、研发效率提升等方面的效果，并形成技术方案、系统原型、技术报告、专利或论文成果。