美团【大模型北斗实习】视频生成大模型技术研究

在AIGC大模型的RLHF阶段，奖励模型（Reward Models）通过提供精准的奖励反馈来调整模型优化方向，以提升图像生成的质感与美感，从而增强整体视觉呈现效果。同时，随着模型参数规模的不断增加，亟需从模型架构层面探讨更优的生成策略。课题研究内容包括但不限于： 1）多维度图像奖励模型的设计。 2）DiT框架的优化，探索性能与推理效率的极限。 3）图像生成范式的探索，系统性验证AR或AR+Diffusion方案的优缺点，以迈向更大规模的生成模型。

大语言模型（LLM）最近取得的突破极大地加速了多模态大语言模型（MLLM）的发展。全模态多模态大语言模型（Omni-MLLM）通过融入如视频、音频等额外的非语言模态，拓展了多模态大语言模型的能力，从而有助于更全面、多维度地理解各种模态，提供更强的智能以及更智能的交互模式。研究方向包括不限于： 1) 多模态表征高效对齐研究：研究如何在统一模型架构下提取并共享视觉、语音、语言等模态的特征；探索基于对比学习、自监督学习的方法，优化多模态对齐过程；针对视频、音频等数据，研究时间序列信息的对齐技巧。 2) 多模态知识迁移与涌现能力研究：研究知识在不同模态间的迁移规律，激发模型在跨模态任务中的涌现能力，实现对未见任务的泛化。 3) 多模态融合：探索统一的全模态大模型框架，研究高效全模态预训练技术，探索跨模态数据上的scaling law和智能涌现能力。使之能够高效处理文本、音频、图像和视频输入的任意组合，并生成涵盖文本、音频和图像等多种模态的输出。 4） 实时多模态交互：探索高效的多模态智能交互技术，增强系统在多模场景下的智能，提升人机实时音视频交互体验。

【课题说明】 在广告场景中，优质精美的创意对用户的行为决策有显著正向影响，传统模式下商用级创意内容的制作门槛高、生产周期长，长尾商家通常难以负担其成本，而头腰部商家也难以做到个性化、高时效性的创意生产投放。 本课题借助大模型的音、视、图、文等多模态理解、思考与生成能力，结合用户画像、商户/品特征、热点趋势等信息，探索实现低成本、个性化的商用级创意内容（如图文笔记、长视频）的生成技术。 【建议研究方向】 1.多模态深度思考：设计与实现多模态深度思考方案，优化模型对多源异构信息进行抽取筛选、加工整合、衍生创作的能力，提升创意内容生成的质量与多样性。 2.开放问题的强化学习：针对无标准答案的开放问题（如笔记生成、剧本创作、素材选取等），设计与实现适配的奖励机制与策略，通过强化学习提升模型能力。 3.创意生产Agent：参考人工生产中的不同角色分工合作流程，设计与实现创意生产的多agent协作框架，并通过线上效果反馈机制，闭环提升生产的效率与质量。

【课题说明】 聚焦多模态数字人核心技术，以直播为应用场景，旨在突破其在真实感、智能交互、情感表达及多模态信息处理上的瓶颈。研发能自主执行复杂运营任务、展现丰富情感与高表现力，并与用户进行深度多模态内容互动的下一代数字人，革新直播行业运营模式与用户体验。 【建议研究方向】 1.智能运营Agent：研究数字人作为智能Agent，在直播前（策划、脚本、货盘）、中（场控、问答、促单）、后（复盘、再创）全流程承担运营职能。重点攻克基于多模态数据的智能决策、任务自动化及人机协同，提升直播运营效能。 2.高表现力数字人生成驱动：探索高真实感、个性化数字人形象（外观、声音、风格）的快速生成与定制。重点研究大模型驱动的、与语音同步且富含细腻情感的表情、口型、动作的实时驱动，增强直播感染力。 3.多模态内容生成和交互：研究理解用户多模态输入（文、语、图、视频）并进行深度互动。探索数字人自主生成动态多模态内容，丰富直播呈现，提升用户参与感。