腾讯腾讯视频-统一多模态视频生成强化学习研究

针对当前多模态大模型在后训练阶段面临的模态割裂、对齐效率低、奖励信号稀疏且场景泛化能力弱等关键挑战，本课题聚焦于构建统一的多模态大模型后训练算法体系。研究内容主要包括三个方面： 1、探索模型高效对齐的后训练算法，结合指令微调、偏好学习与知识蒸馏技术，提出低资源、高响应的对齐范式，实现模型行为与人类意图的高度契合。通过构建“奖励驱动—训练加速—对齐优化”三位一体的后训练框架，推动多模态大模型向更智能、更可靠、更可控的方向持续演进，为通用人工智能提供可复用、可扩展的算法基础设施； 2、开展超大规模强化学习（RL）训练架构优化，研究分布式训练中的梯度同步策略、样本效率提升方法与稳定收敛机制，支撑千亿级甚至万亿级参数模型在多模态环境下的高效策略优化； 3、设计面向通用场景的多模态统一奖励系统（Reward System），融合语言、视觉等多维信号，构建细粒度、可泛化的奖励函数，实现跨模态语义一致性与任务目标的联合建模。

本课题旨在探索构建一套“理解-生成-决策”三位一体的多模态统一大模型基座及智能体应用。 在底层基座构建上，重点构建理解与生成统一的图文交错混合模型：输入端实现多体裁内容（笔记、直播、商品等）的统一融合理解，输出端兼顾高质量表征提取、文本与图像生成。通过底层世界知识共享，消除多领域知识间的壁垒，并利用理解任务促进生成能力的提升。同时探索基于Multi-Head与MoE的轻量化微调及融合推理技术，在保证多场景下的效果前提下，压低训练和推理成本，实现降本增效。 在上层应用落地上，面向内容发布场景打造多模态创作Agent能力，通过基座模型的Agentic能力提升（意图识别、规划与工具调用），将分散的图像处理与创作工具统一封装，用户仅需以多模态方式自然表达需求，Agent即可自动完成任务拆解与执行，大幅降低使用门槛，全面重塑内容创作体系。