美团【大模型北斗实习】预训练架构优化

本课题研究方向包括但不限于： 1）构建端到端的网页文本内容提取系统，针对网络数据的复杂性，从系统效率和模型效果角度持续优化内容提取算法，迭代生产标准。 2）设计预训练数据的全局质量优化和治理方案，优化全局采样策略、隐私保护和安全合规，提升基座模型训练效率和最终效果。 3）建设多模态交错数据处理链路，通过数据分析和配比实验等手段优化多模态数据质量和多样性，支撑多模态大模型数据需求。 4）推动数据驱动的模型性能突破。 5）负责千亿级网页的大规模处理和万亿级token数据生产，通过分布式计算、模型量化及显存优化的方式提升数据处理和生产效率。

大语言模型（LLM）最近取得的突破极大地加速了多模态大语言模型（MLLM）的发展。全模态多模态大语言模型（Omni-MLLM）通过融入如视频、音频等额外的非语言模态，拓展了多模态大语言模型的能力，从而有助于更全面、多维度地理解各种模态，提供更强的智能以及更智能的交互模式。研究方向包括不限于： 1) 多模态表征高效对齐研究：研究如何在统一模型架构下提取并共享视觉、语音、语言等模态的特征；探索基于对比学习、自监督学习的方法，优化多模态对齐过程；针对视频、音频等数据，研究时间序列信息的对齐技巧。 2) 多模态知识迁移与涌现能力研究：研究知识在不同模态间的迁移规律，激发模型在跨模态任务中的涌现能力，实现对未见任务的泛化。 3) 多模态融合：探索统一的全模态大模型框架，研究高效全模态预训练技术，探索跨模态数据上的scaling law和智能涌现能力。使之能够高效处理文本、音频、图像和视频输入的任意组合，并生成涵盖文本、音频和图像等多种模态的输出。 4） 实时多模态交互：探索高效的多模态智能交互技术，增强系统在多模场景下的智能，提升人机实时音视频交互体验。

多模态理解与生成能力是大模型实现通用人工智能的核心基石之一，涵盖了跨视觉、语言等多种模态的信息处理与创造。本课题致力于探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成，从而构建具备更强泛化能力和创造性的通用人工智能大模型。 研究内容: 1）视觉表征研究：不同规模和训练范式的视觉基座预训练，模型结构探索和选型，开发更适合于多模态大模型的视觉基座。 2）理解生成统一：面向不同的多模态架构和训练范式，从视觉基座的角度深入探索视觉连续表征和离散表征的联系和区别，探索更具通用性的多模态特征。 3）视频多模态能力提升：探索短视频、长视频、视频流等不同形态的视频多模态方案，探究图像、视频统一的多模态解决方案。 4）高效和轻量化模型构建：探索适合轻量化多模态任务的模型架构，通过参数共享、模块化设计等手段，在不显著降低性能的前提下减少模型参数量和计算复杂度。

研究方向一：基于生成式推荐的CTR预估新范式 该方向研究在生成式推荐架构下，如何发挥算力优势，重构当前搜推排序架构体系，实现有限资源下累计收益最大化。关键问题如下： 1.在训练、推理上发挥生成式架构算力优势：针对超长用户行为序列探索生成式架构下Scaling Law，基于美团LBS特点高效捕捉用户兴趣。 2.建设全场景生成式推荐算法：基于超大算力的生成式架构，建设多业务线统一排序算法；采用预训练+SFT、KV Cache等技术，建设多业务下统一的训练、推理服务架构。 3.全链路端到端统一建模：利用生成式架构优点统筹多阶段漏斗，彻底改变当前繁重的多阶段迭代模式，建设出既能互相协同与配合、且目标又充分一致的新算法链路。 研究方向二：面向即时零售场景的大模型驱动用户兴趣建模与场景化推荐方法研究 随着大语言模型（LLM）在自然语言处理、知识推理等领域的广泛应用，如何将其与零售业务深度融合，提升即时零售场景下的用户兴趣理解与个性化推荐水平，成为智能推荐领域的重要研究方向。本课题旨在突破传统推荐系统对用户兴趣建模的局限，充分挖掘大模型的语义理解、知识推理与泛化能力，推动零售行业智能化升级。关键问题如下： 1.探索并实现大模型与零售业务领域知识的高效融合机制，系统评估监督微调（SFT）、检索增强生成（RAG）等多种集成方案在场景化推荐中的适用性与性能表现。 2.构建面向即时零售场景的用户兴趣建模体系，利用大模型对用户行为、商品属性、场景上下文等多维数据进行深度语义建模，提升用户兴趣刻画的准确性与动态性。 3.研发场景化推荐推理框架，基于大模型的推理能力，实现对用户个性化需求的精准预测与推荐，显著提升即时零售平台的用户体验和转化效率。