美团【北斗】大模型应用算法研究员（多模态/后训练/Agent，AIGC/智能外呼/智能IM）

研究方向一：下一代端到端生成式 广告大模型系统广告系统一般采用“召回->粗排->精排->出价->拍卖”的多级漏斗架构，但各模块独立优化导致优化目标不一致，前链路会制约后链路上限，漏斗效率折损大。近年来，随着大模型和生成式技术的快速发展，其强大的表征能力和良好的Scaling性质也为广告系统提供了新的可能性。本研究旨在探索如何利用生成式技术重塑整个广告系统，通过一个端到端的生成式广告大模型完成所有决策，打破多级漏斗框架，打开模型决策空间，最大化平台收益。 1.生成式广告大模型架构设计：基于前沿大模型（如时空Transformer、MLA、MoE等），设计适配广告场景的生成式决策框架，支持根据“用户行为、实时位置、商户出价”端到端生成最优的广告商家、展示创意、相应计费。 2.多阶段的训练范式设计：借鉴LLM的分阶段训练技术（如PT、SFT、RLHF等），设计“基于海量交互的 pre-training 和 基于业务目标的 post-training ”的分阶段训练范式，提升广告大模型效果。 3.广告大模型的Scaling规律探索：探索广告场景下，生成式大模型“算力->效果”的转化规律，驱动推广搜迭代范式实现由“人工设计迭代”到“算力堆叠迭代”的跃迁。 研究方向二：基于大模型重构广告系统 传统的向量召回和深度学习推荐范式在深度交互、冷启动、长尾商品发现、多场景适配等方面仍存在诸多挑战。 大模型具备强大的内容理解、知识推理和个性化内容生成能力。以大模型为核心，通过将用户历史行为、上下文信息、多模态内容等深度融合，实现用户意图的主动理解、候选内容的生成与多场景下的精准推荐，极大提升广告系统召回、粗排、精排、拍卖等模块的能力上界。 1.领域LLM 构建：基于sota 基座模型，系统性整合美团用商双端数据，通过PT、SFT、RLHF等方式构建适配外卖/到餐领域的垂直领域LLM，快速支持商业广告系统多大模型应用落地； 2.基于强化学习+领域LLM 的通用广告解决方案：基于领域LLM，结合GRPO等强化学习技术，探索广告召回、粗排、精排建模的新范式，探索广告领域建模的scaling law； 3.结合广告业务场景与大模型前沿技术，探索改造广告算法链路的创新方向，实现广告算法链路的大规模升级及核心指标的显著提升。

数据与训练方向： 1.大模型数据体系建设：构建多语言和多模态的数据处理流程和实验链路，优化数据的筛选与配比策略，探索动态数据调整、多阶段训练和课程学习等方法提升数据质量和多样性，优化大模型的训练效果。 2.合成数据探索：探索大规模合成数据方法，应用于复杂任务、推理、代码和多模态等场景。制定合成数据在预训练、强化学习等不同训练阶段的应用策略，并深入研究数据扩展规模定律、数据多样性和模型坍塌等基础问题，推动数据驱动的性能突破。 3.多模态学习与推理：探索多模态预训练的新范式，突破模态融合瓶颈。具体包括实现多模态能力的早期融合、理解与生成的统一建模，研究多模态扩展定律以指导数据与训练方案，扩展超长上下文机制以支持全模态场景等。同时，面向复杂的多模态推理与交互场景，探索多模态强化学习、多模态奖励模型、推理阶段扩展（test-time scaling）以及全模态链式思维（CoT）等方法，提升模型处理复杂任务和全模态交互的能力。 4.高效模型架构设计：设计高效的大模型架构以提升训练和推理效率。探索 MoE（混合专家）、稀疏注意力、线性注意力等高效模型结构，以及模型编辑与合并等技术，研发能够显著提升推理速度和资源利用率的新型模型架构。 5.推理效率与性能优化：推动算法与系统的协同优化，实现模型性能与效率的最大化平衡。基于对硬件计算潜力的深度挖掘，开发高效的模型推理方案和算法，包括模型压缩、剪枝、量化、稀疏化等，降低模型应用部署成本。 后训练方向： 1.后训练数据与流程建设，从指令数据生产、合成、进化、配比等方面提升数据质量，优化指令微调、强化学习、奖励模型等训练pipeline，提升模型综合能力； 2.后训练关键能力建设，包括但不限于优化模型创意生成、多语言、逻辑推理、复杂指令遵循、代码生成、工具调用等能力，提升模型可控性和安全性，拓展模型能力边界； 3.面向准确性、多模信息、最优路径等方向，探索奖励模型的新范式，构建统一模型学习环境，实现模型的价值对齐和能力对齐； 4.面向推理规划能力、多智能体系统、模型自进化等方向，探索下一代强化学习算法，持续提升大模型的智能水平和在真实复杂场景效果； 5.前沿探索：动态推理计算优化（Test-time Compute Optimization）、多智能体协同进化架构 、大规模强化学习系统优化等。

研究方向一：垂域LLM研究与构建​ 1.基座模型架构设计与优化：参与大语言模型基座架构的设计，研究前沿技术，如稀疏激活、混合精度训练等，同时优化模型的训练和推理流程。​ 2.技术创新与突破：参与前沿技术研究，如多任务学习、跨模态理解等，推动模型在复杂任务上的性能提升；探索Transformer替代架构，突破现有模型scaling law限制；同时挑战学术benchmark，为模型的性能树立新的行业标杆。​ 3.强化学习算法研究：参与大语言模型后训练阶段的强化学习算法研究，包括基于AI和环境反馈的强化学习（RLXF）算法。同时探索奖励模型与反馈机制，研究可泛化的细粒度过程监督和奖励建模，探索基于细粒度反馈的强化学习算法。​ 4.垂域模型定制化构建：领域认知智能突破，探索小样本场景自演进架构设计、可信推理机制构建等方向，同时建立面向AGI的模型评价体系新范式。​ 5.跨部门协作与落地：与公司数据科学家、算法工程师、产品团队紧密合作，将研究成果快速转化为实际应用，推动大语言模型在更多场景的落地。​​ 研究方向二：垂域MLLM研究与构建​ ​1.研究多模态表征与大语言模型融合的前沿技术，设计和实现创新算法，研究异质数据的统一编解码模型，适配多种模态下的特征统一，实现高效微调与优化。​ 2.探索强化学习（RL）在多模态大模型中的应用，包括强化学习增强的多模态生成、跨模态对齐、偏好建模及自适应优化，提升多模态理解与推理能力。 ​3.持续追踪多模态与强化学习结合的最新研究进展，优化现有多模态系统架构，提升性能、效率与可扩展性，推动多模态强化学习在智能体交互、决策推理等任务中的应用。 ​4.构建技术评估体系，通过多场景验证推动多模态理解、生成及强化学习优化策略的落地应用，提升多模态大模型的泛化能力和实际应用价值。​​ 研究方向三：基于角色扮演的虚拟数字助理 ​​1. 角色扮演技术（Role-Playing）：通过模型优化、Agent构建，在人设、拟人性、情感等取得显著提升。 ​2. 记忆管理与增强（Memory）：通过模型长上下文，记忆抽取与管理，提升系统的记忆能力。 ​3. 个性化技术：通过用户行为数据挖掘与建模，结合多轮对话上下文理解，分析用户情感状态，提升模型的个性化回复能力。 ​4. 基于Agent的数字助理：通过Agent构建和基于RL的优化，实现数字助理的能力复刻和增强

预训练 探索下一代大模型预训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型。 1.设计更高效的模型结构，提高给定数据量、计算量、参数量、序列长度等约束下的模型能力，如长序列能力、记忆能力、推理能力等； 2.探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知，探索更适合大模型的optimizer等； 3.研究模型结构和数据的耦合关系；探索预训练与上下游环节的联合优化；改进分阶段训练范式； 4.结合MLsys解决大规模训练和推理中遇到的卡点问题，实现算法和工程联合设计。 原生多模态 1.负责面向真实世界数据（尤其是大规模视频序列、图文交错数据等）的原生多模态大模型的架构设计与预训练技术探索。攻坚多模态信息（视觉、语言、音频、触觉等）的深度融合、统一表征与跨模态生成。借助更大规模自监督学习范式，驱动模型学习多模态序列分布，致力于让模型从海量数据中学习世界运行的规律、物理交互知识与通用技能； 2.设计并优化适用于原生多模态架构的表征构建与学习方案，以增强模型对多模态Token的深层理解、采样与复杂推理能力。结合SFT/RL等后训练探索，激发模型采样多模token，解决物理世界问题能力； 3.负责将原生多模态大模型学到的丰富先验知识高效迁移并赋能具身智能体。主导或参与强化学习（RL）、模仿学习（IL）、规划与控制算法的设计与优化，显著提升智能体在模拟及真实机器人上的学习效率、任务成功率与自主决策能力； 4.负责设计并与工程团队紧密协作搭建高逼真度、可扩展的具身智能模拟环境，产出多样化、高质量的合成交互数据，为强化学习算法的训练、测试以及Sim-to-Real研究提供坚实的数据与环境基础。 智能体系统 1.研发端到端训练、能够自主处理问题、具备完整工具使用能力的智能体（Agent）系统，在Agentic Coding、DeepResearch等各类端到端任务上取得突破。 2.探索能够自主与环境交互，自适应学习并持续提升的智能体（Agent）系统，提升大模型解决现实问题的能力。