美团LongCat - 数据策略与数据科学算法研究员

随着模型架构逐渐收敛、算力成本持续上升，高质量数据策略正在成为提升基座模型 scaling efficiency 和能力上限的核心杠杆。本方向聚焦大规模预训练数据的理解、筛选、配比、合成与系统化迭代，致力于建立数据分布、训练动态与模型能力之间的可解释映射，并将其转化为可预测、可干预、可扩展的数据策略和数据系统，持续提升模型的 token efficiency、scaling efficiency 与智能上限。 工作内容包括但不限于： 1.研究数据来源、质量、多样性、难度、覆盖度与模型能力之间的关系，建立“数据分布—训练动态—模型效果”的分析与归因框架。 2.探索面向预训练的数据价值建模方法，包括自动化质量评估、样本筛选、语义去重、污染检测、覆盖度建模、长序列数据组织与高价值 token 挖掘。 3.研究 Data Mixture、动态配比、课程学习和多阶段训练策略，分析不同类型数据在不同模型规模、训练阶段和能力维度上的边际收益，提升 token efficiency 与 scaling efficiency。 4.探索合成数据、蒸馏数据、模型自生成数据和反馈数据在预训练中的有效使用方式，研究合成数据的有效性、多样性保持、退化机制和训练配比策略。 5.构建可复现、可扩展的大规模数据处理与实验闭环，将数据构建、训练验证、能力评测、数据诊断和策略更新结合起来，形成面向基础模型持续迭代的数据飞轮。 6.研究并缓解预训练数据中的污染、偏差、重复、低质、隐私、安全和合规风险，提升数据策略的可靠性、可控性和可持续性。 【为什么是我们】 1.明确的技术判断：团队在原生多模态方向有非共识的长期投入，已发布 LongCat-Next 技术报告（离散自回归原生多模态），不是跟随式的能力补齐。 2.顶级资源支撑：5～6万卡计算集群，万亿参数文本基座已训练完成，多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。 3.主线与探索并行：既承担多模态基座的核心交付工作，也推进下一代原生多模态架构的前沿探索，覆盖"数据→tokenizer→预训练→后训练→RL"全链路。

1.针对大模型Coding场景，拆解代码生成、代码补全等核心能力，建立科学的代码标注和评测体系。 2. 主导代码标注资源管理与数据构建，确保数据质量和一致性，支持coding智能体训练、评测。 3. 设计自动化数据合成及清洗方案，实现规模化高质量数据生产。 4. 监测模型效果，输出系统化分析报告，持续优化数据方案。

1. 针对不同场景智能体应用，拆解多轮、规划、插件调用等核心能力，建立评测和标注体系。 2. 主导标注人员管理与数据构建，确保数据质量和一致性，支持智能体训练、评测。 3. 设计自动化数据合成及清洗方案，实现规模化高质量数据生产。 4. 监测智能体效果，输出系统化分析报告，持续优化数据方案。

本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘，建立数据与模型能力之间的因果联系，打造下一代万亿基座模型的高效数据引擎，致力于提升基座模型的智能上限。研究内容包括但不限于： 1.研发基于模型的高效数据质量评估、去重与清洗算法，提高数据质量、多样性和覆盖度。 2.深入探究数据分布与模型能力的因果关系，建立“训练数据-模型效果”归因机制，探索并突破基座模型的能力上限。 3.探索自动化数据筛选机制、动态配比（Data Mixture）与多阶段训练范式，探索不同类型数据对模型能力的Scaling Law。 4.构建科学、多维度的基座模型能力和潜力评估，驱动预训练数据策略的优化，形成高效的数据迭代闭环。 【为什么是我们】 1.明确的技术判断：团队在原生多模态方向有非共识的长期投入，已发布 LongCat-Next 技术报告（离散自回归原生多模态），不是跟随式的能力补齐。 2.顶级资源支撑：5～6万卡计算集群，万亿参数文本基座已训练完成，多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。 3.主线与探索并行：既承担多模态基座的核心交付工作，也推进下一代原生多模态架构的前沿探索，覆盖"数据→tokenizer→预训练→后训练→RL"全链路。