美团【大模型北斗实习】多模态融合及多模态实时交互算法研究
任职要求
1）对CV、NLP、语音等多模态相关领域有深入的理解，在其中一个或多个方向有深入的研究经历，且有相关实际项目经验。 2）熟练使用深度学习框架（比如PyTorch），熟悉 Megatron、DeepSpe…
工作职责
大语言模型（LLM）最近取得的突破极大地加速了多模态大语言模型（MLLM）的发展。全模态多模态大语言模型（Omni-MLLM）通过融入如视频、音频等额外的非语言模态，拓展了多模态大语言模型的能力，从而有助于更全面、多维度地理解各种模态，提供更强的智能以及更智能的交互模式。研究方向包括不限于： 1) 多模态表征高效对齐研究：研究如何在统一模型架构下提取并共享视觉、语音、语言等模态的特征；探索基于对比学习、自监督学习的方法，优化多模态对齐过程；针对视频、音频等数据，研究时间序列信息的对齐技巧。 2) 多模态知识迁移与涌现能力研究：研究知识在不同模态间的迁移规律，激发模型在跨模态任务中的涌现能力，实现对未见任务的泛化。 3) 多模态融合：探索统一的全模态大模型框架，研究高效全模态预训练技术，探索跨模态数据上的scaling law和智能涌现能力。使之能够高效处理文本、音频、图像和视频输入的任意组合，并生成涵盖文本、音频和图像等多种模态的输出。 4） 实时多模态交互：探索高效的多模态智能交互技术，增强系统在多模场景下的智能，提升人机实时音视频交互体验。
随着大模型与生成式 AI 技术的快速发展，在多模态和复杂场景下让 Agent 具备更强大的决策和执行能力成为未来的重要趋势。OpenAI Operator 通过结合强化学习的多步决策机制与大模型的理解、推理优势，可在多种任务场景（如 Computer Use、网页浏览等）中实现高效且灵活的自动化决策和任务执行。本课题将聚焦多样化业务场景和复杂环境下的自适应策略设计、规划与推理，进一步提升 Agent 在真实应用中的表现。 主要研究内容包括但不限于： 1) 多模态与多步决策：设计并构建包含多模态信息、计算机交互、网络搜索、函数调用等多维度的复杂环境，研究如何利用端到端强化学习来进行多步决策，从而完成更具挑战的任务。 2) 策略学习与优化：在多种强化学习算法（如 PPO、GRPO 等）的框架下，探索高效的策略优化方法，为 Operator Agent 提供强大的决策和执行能力。 3) 规划与推理：借助大模型的知识与推理能力，设计可解释的多步规划算法；研究如何与外部工具或知识库交互，以扩展 Agent 的能力边界并提升其在真实环境中的自动化决策表现。
随着大语言模型从通用问答走向复杂任务执行，Agent能力正成为模型演进的关键方向。传统大模型虽具备海量知识，但面对复杂任务的自主规划、工具调用及长期记忆管理时，往往难以应对。本课题旨在探索Midtrain这一关键阶段，推动通用基座模型向原生Agentic Foundation Model演进，为构建下一代自主智能体提供坚实的底座支持。 1. 大规模高质量数据体系与合成数据建设 数据体系构建：建设 Trillion 级别的大规模跨模态数据处理与合成链路。负责从训练数据获取到配比建模的全流程优化 合成方法演进：探索大规模合成数据 (Synthetic Data) 与自蒸馏 (Self-distillation) 技术，制定合成数据应用策略 理论探索：研究Data Scaling Laws，解决数据扩展中的模型坍塌（Model Collapse）与多样性瓶颈问题，通过课程学习（Curriculum Learning）等训练策略，显著优化Token/FLOPs转化效率 2. 长上下文 (Long Context) 与高效架构演进 长窗口突破: 持续Scaling Up模型的Context Length，优化超长上下文机制，重点提升LongCat基座模型在长上下文上的表现 架构优化: 探索并验证MoE（混合专家）、稀疏注意力（Sparse Attention）、线性注意力等模型结构；结合剪枝与稀疏化技术，协同优化训练与推理效率，提升超长上下文场景下的效率 上下文管理: 探索逐轮次和跨多轮次的上下文管理方法，并建立对应评测体系，从而减少冗余信息堆叠，实现高效思考和性能提升 3. 多模态能力融合与 Agent 赋能 模态融合：探索多模态预训练新范式，突破模态融合瓶颈。利用多模态扩展定律指导数据与训练方案，提升模型在多模态交互场景下的原生能力 复杂场景落地：面向 Agent、具身智能等前沿场景，提升模型的多模态指令遵循与复杂任务规划能力 4. 下一代训练范式与前沿技术探索 自进化机制：协同上下游团队，探索模型自进化（Self-evolution）机制，研究RL在Mid-training阶段的应用 能力扩展：研究推理阶段扩展（Test-time Scaling）及全模态链式思维（Omni-modal CoT），推动模型从单纯的“知识记忆”向“深度推理与问题解决”演进
简介：我们认为，训练智能体系统的核心在于训练对任意复杂的环境进行合理交互、并在复合guidance 信号下充分进行系统级长程任务解决。这里，环境向真实物理世界演化是一个可以预见的方向，从而依赖模型在动态的、存在时序自变化的多模态环境下的探索与交互能力。为了激发这样的能力，一方面，我们认为游戏是一个高度可验证、同时充满训练潜力的场景；另一方面，如 minecraft / 原神 以至更复杂的开放世界环境更可以作为智能体系统在进行真实物理世界训练之前的一个练兵场。 具体的，我们关注如下研究目标： 1、探索通过在高度多样、丰富的游戏任务下进行大规模智能体训练，提高模型面对一般多模态场景的交互与融合模态推理能力。 2、探索趋向于真实物理世界的开放世界建模，为模型在真实物理世界下的训练和模拟训练提供坚实基础。 3、训练模型在动态、时序变化的开放世界下，自主进行感知、观察、探索、交互、任务推进的能力，并预期这样的能力作为真实物理世界训练的坚实前置基础，可以 minimize 所需的高成本真实物理世界训练量。
【课题说明】 传统的向量召回和深度学习推荐范式在深度交互、冷启动、长尾商品发现、多场景适配等方面仍存在诸多挑战。生成式推荐系统以大模型为核心，具备强大的内容理解、知识推理和个性化内容生成能力。通过将用户历史行为、上下文信息、多模态内容等深度融合，生成式推荐系统能够实现用户意图的主动理解、候选内容的生成与多场景下的精准推荐，极大提升用户体验和平台生态活力。 【建议研究方向】 1.生成式召回：研究基于大模型的生成式召回方法，实现以模型参数为载体的候选内容记忆与生成，突破传统召回技术的局限。 2.多轮交互推荐技术：探索多轮用户引导与深度交互机制，实时理解用户意图变化，满足“千人千面”的个性化需求。 3.推荐系统的可解释性与安全性：研究大模型驱动的推荐逻辑可解释性方法，提升用户对推荐决策的理解和信任。同时探索生成式推荐中的内容安全，保障推荐系统的合规性与用户体验。 4.推荐智能体与复杂任务规划：构建具备推理、规划和自主决策能力的推荐智能体，支持跨领域、跨步骤的复杂任务推荐。