腾讯大模型算法研究员-Agent方向（深圳/北京）

视觉方向 1.探索大规模/超大规模多模态视觉大模型，并进行极致系统优化，数据建设、指令微调、偏好对齐、模型优化。 2.探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成。 3.探索多模态推理模型（Reasoning）架构、提升多模态在学科、通用视觉任务上的思考和推理能力。 4.探索视觉GUI Agent模型构建，提升GUI场景下的理解、规划和决策能力，进而提升人机交互的性能。 5.探索具身智能大模型的构建，提升机器人在物理场景中的模仿学习和强化学习算法，提升具身智能的多模态处理能力以及与开放世界的物理交互能力。 6.探索多模态视觉大模型后训练方法，探索指令微调、强化学习等后训练策略，提升模型的性能。 语音方向 1.语音表征学习：探索同时适用于理解和生成任务、兼顾学习效率和效果的语音表征。 2.模型结构与预训练方法：研究可大规模扩展的模型结构，高效学习语音和文本知识，提升模型的理解和生成能力。 3.音频理解：在语音(Speech)之外，探索更广泛的音频（Audio，如音乐、环境声）理解能力。 4.音频生成：探索高质量音频生成能力，具备强表现力、多风格、多语种、多音色等。 5.后训练方法：探索基于 SFT 和 RL 的后训练策略，进一步提升模型能力上限，。 6.智能交互技术研究，探索高效的智能交互技术，增强系统交互过程中的智能能力、拟人度、自然度和主动性。 全模态融合 大语言模型最近取得的突破，加速了多模态大模型的发展。全模态大模型（Omni-MLLM）通过融入如视觉、语音等模态，拓展了多模态大语言模型的能力，有助于更全面、多维度地理解与生成各种模态，提供更强的智能以及更智能的交互模式。 1.多模态表征对齐：研究在统一模型架构下提取并共享视觉、语音、语言等模态的特征；基于对比学习、自监督学习，优化多模态对齐过程；针对视频、音频等数据，研究时间序列信息的对齐技巧。 2.多模态统一模型架构：探索统一全模态大模型架构，研究高效全模态预训练技术，使之能够高效处理文本、图像、视频和语音数据，并生成涵盖文本、音频和图像等多种模态的输出 3.多模态知识迁移与能力增强：研究在不同模态间的能力迁移，激发模型在跨模态任务中的涌现能力。

研究方向一：图像生成大模型技术研究 1.负责下一代图像生成模型架构建设，包括但不限于AR-Diffusion、生成编辑统一架构构建； 2.负责生图专项能力升级，包括Reward model设计、多语言文字生成能力。 研究方向二：视频生成大模型技术研究 1.负责下一代视频生成模型架构建设，以及高效率、低精度损失、高压缩比的视频VAE和tokenizer建设； 2.负责视频生成下游功能拓展，包括多概念注入生成、交互式生成、长视频生成等。 研发方向三：视觉内容创作Agent 1.负责对话式创作助手核心能力攻坚，包括图像视频创作场景的CoT能力、交互式编辑能力提升。 2.负责图文海报、剧情化成片等典型应用场景的模型微调、Agent能力建设。 研究方向四：拟人化多模交互前沿路线研究 1.构建多模输入的人物视频生成模型，具备高度拟人化的面部驱动、人体动作生成。 2.构建基于多模态大模型的端到端交互模型，实现智能双工交互和人-物-场景的交互。

作为项目的核心成员，你将不仅仅是执行任务，更是与我们一同探索未知。 具体职责包括： 前沿探索： 追踪并复现NeurIPS, ICML, ICLR, CVPR等顶会中关于多模态、Agentic AI、强化学习等方向的最新研究成果。 算法实现： 参与设计与实现创新的多模态融合、任务规划、工具学习、记忆与反思等核心算法模型。 实验与分析： 设计并执行大规模的AI实验，通过严谨的数据分析来验证假设、评估模型性能，并提出富有洞见的改进方向。 系统构建： 参与构建和优化项目的数据集、评测基准（Benchmark）以及Agent的执行环境。 思想碰撞： 与团队成员紧密合作，积极参与每周的技术讨论会和头脑风暴，贡献你的奇思妙想。

1.负责AI搜索、大模型对话等场景中AI Agent方向的算法研究，提升大模型逻辑推理和任务规划能力； 2.优化Agent的工具调用、记忆管理能力，解决AI搜索下多卡片、多API的调用精度，提升与环境的交互能力； 3.优化Agent上下文理解能力，解决查询意图、查询拆解、问题补全等实际问题； 4.LLM相关的算法探索与落地工作，包括不限于RAG、SFT+强化学习、Multi-Agent等前沿方向。