美团【大模型北斗实习】大模型预训练数据构建理论与算法研究

研究方向一：基于生成式推荐的CTR预估新范式 该方向研究在生成式推荐架构下，如何发挥算力优势，重构当前搜推排序架构体系，实现有限资源下累计收益最大化。关键问题如下： 1.在训练、推理上发挥生成式架构算力优势：针对超长用户行为序列探索生成式架构下Scaling Law，基于美团LBS特点高效捕捉用户兴趣。 2.建设全场景生成式推荐算法：基于超大算力的生成式架构，建设多业务线统一排序算法；采用预训练+SFT、KV Cache等技术，建设多业务下统一的训练、推理服务架构。 3.全链路端到端统一建模：利用生成式架构优点统筹多阶段漏斗，彻底改变当前繁重的多阶段迭代模式，建设出既能互相协同与配合、且目标又充分一致的新算法链路。 研究方向二：面向即时零售场景的大模型驱动用户兴趣建模与场景化推荐方法研究 随着大语言模型（LLM）在自然语言处理、知识推理等领域的广泛应用，如何将其与零售业务深度融合，提升即时零售场景下的用户兴趣理解与个性化推荐水平，成为智能推荐领域的重要研究方向。本课题旨在突破传统推荐系统对用户兴趣建模的局限，充分挖掘大模型的语义理解、知识推理与泛化能力，推动零售行业智能化升级。关键问题如下： 1.探索并实现大模型与零售业务领域知识的高效融合机制，系统评估监督微调（SFT）、检索增强生成（RAG）等多种集成方案在场景化推荐中的适用性与性能表现。 2.构建面向即时零售场景的用户兴趣建模体系，利用大模型对用户行为、商品属性、场景上下文等多维数据进行深度语义建模，提升用户兴趣刻画的准确性与动态性。 3.研发场景化推荐推理框架，基于大模型的推理能力，实现对用户个性化需求的精准预测与推荐，显著提升即时零售平台的用户体验和转化效率。

简介：本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘，建立数据与模型能力之间的因果联系，打造下一代万亿基座模型的高效数据引擎，致力于提升基座模型的智能上限。研究内容包括但不限于： 1、研发基于模型的高效数据质量评估、去重与清洗算法，提高数据质量、多样性和覆盖度。 2、深入探究数据分布与模型能力的因果关系，建立“训练数据-模型效果”归因机制，探索并突破基座模型的能力上限。 3、探索自动化数据筛选机制、动态配比（Data Mixture）与多阶段训练范式，探索不同类型数据对模型能力的Scaling Law。 4、构建科学、多维度的基座模型能力和潜力评估，驱动预训练数据策略的优化，形成高效的数据迭代闭环。

随着大语言模型从通用问答走向复杂任务执行，Agent能力正成为模型演进的关键方向。传统大模型虽具备海量知识，但面对复杂任务的自主规划、工具调用及长期记忆管理时，往往难以应对。本课题旨在探索Midtrain这一关键阶段，推动通用基座模型向原生Agentic Foundation Model演进，为构建下一代自主智能体提供坚实的底座支持。 1. 大规模高质量数据体系与合成数据建设 数据体系构建：建设 Trillion 级别的大规模跨模态数据处理与合成链路。负责从训练数据获取到配比建模的全流程优化 合成方法演进：探索大规模合成数据 (Synthetic Data) 与自蒸馏 (Self-distillation) 技术，制定合成数据应用策略 理论探索：研究Data Scaling Laws，解决数据扩展中的模型坍塌（Model Collapse）与多样性瓶颈问题，通过课程学习（Curriculum Learning）等训练策略，显著优化Token/FLOPs转化效率 2. 长上下文 (Long Context) 与高效架构演进 长窗口突破: 持续Scaling Up模型的Context Length，优化超长上下文机制，重点提升LongCat基座模型在长上下文上的表现 架构优化: 探索并验证MoE（混合专家）、稀疏注意力（Sparse Attention）、线性注意力等模型结构；结合剪枝与稀疏化技术，协同优化训练与推理效率，提升超长上下文场景下的效率 上下文管理: 探索逐轮次和跨多轮次的上下文管理方法，并建立对应评测体系，从而减少冗余信息堆叠，实现高效思考和性能提升 3. 多模态能力融合与 Agent 赋能 模态融合：探索多模态预训练新范式，突破模态融合瓶颈。利用多模态扩展定律指导数据与训练方案，提升模型在多模态交互场景下的原生能力 复杂场景落地：面向 Agent、具身智能等前沿场景，提升模型的多模态指令遵循与复杂任务规划能力 4. 下一代训练范式与前沿技术探索 自进化机制：协同上下游团队，探索模型自进化（Self-evolution）机制，研究RL在Mid-training阶段的应用 能力扩展：研究推理阶段扩展（Test-time Scaling）及全模态链式思维（Omni-modal CoT），推动模型从单纯的“知识记忆”向“深度推理与问题解决”演进

我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。