美团大模型预训练数据算法专家

【AI愿景】 美团龙猫基座大模型，不只聪明，更懂生活。从语言理解到全模态感知，从架构创新到极致推理，从海量预训练到亿级真实订单 —— 我们造的不仅是实验室里的“优等生”，更是活在大街小巷、三餐四季里的AI。 而我们想做的远不止于此 —— 让模型自己提出假设、训练自己、不断进化； 让一群智能体像团队一样分工协作、攻克复杂问题； 让 AI 走出屏幕，理解物理世界、走进真实场景。 这是我们正在冲刺的方向，也是你可以参与定义的未来。 加入我们，一起把智能带进真实物理世界，亲手打造下一代 AGI！ 【团队介绍】 基座大模型AI Infra团队，以支撑前沿基础模型持续演进为目标，面向大模型研发与生产全链路，构建高性能、高稳定性、可持续扩展的AI基础设施体系。围绕高效率实验平台、大规模训练生产能力，以及模型结构与芯片架构协同优化， 沉淀软硬一体、训推贯通的关键基础能力，提升模型迭代效率、训练资源利用率与系统上限。 【为什么是我们】 1. 你的工作直接决定万亿大模型的效果天花板 —— 预训练数据质量是影响模型能力的最底层变量，这个方向持续重要且极富挑战，您在做"最核心的事”的同时，是在挖掘大金矿。 2. 超大规模数据工程实战 —— 万亿级网页、百亿级文档等您挖掘，您积累的系统设计和优化经验，具有极强的稀缺性与市场价值。 3. 学术与业务双驱动 —— 团队技术氛围浓厚，鼓励技术创新、突破以及成果转化；核心技术有机会在顶会发表，业务落地与学术产出双向驱动。 【岗位职责】 1.主导预训练数据全链路闭环建设，包括但不限于数据理解、数据处理、数据价值判定、多样性建设、数据实验以及评估方法和评估指标建设。 2.建立多维度预训练数据体系，包括质量、多样性、困惑度、有用性、复杂度等。 3.建立"数据-模型"的全链路归因分析能力，通过消融实验和量化分析，深度研究不同数据源及质量对模型下游任务能力的影响以及用更少的数据量达到更优的模型效果。 4.持续跟踪学界与业界在Data Selection、Data Pruning等方向的最新进展，并推动技术落地。

作为一名核心的预训练数据算法研究员，你将直接参与构建和优化我们核心大语言模型的预训练，并侧重在 code、agentic、reasoning-heavy 类任务的高质量训练数据集搭建；包含但不限于数据收集、合成数据生成、任务行为轨迹构建等。 1.开发并生成用于大模型训练的合成任务与数据集，涵盖两类场景： 可验证类任务：代码解题、数学计算题等； 不可验证类任务：开放式逻辑推理、通用综合问题求解等。 2.搭建并规模化运行多领域数据合成流程，覆盖 agent、code、math、general reasoning； 3.参与搭建 agentic task environments 以及配套的大模型训练评测体系。

作为一名预训练数据算法研究员，你将负责开发大语言模型训练所需的大规模数据处理算法与数据学习策略。 主要负责： 1.针对多源数据设计并开发code类数据、通用文本数据清洗、增强、合成算法； 2.基于大语言模型研发并迭代数据筛选策略，提升预训练语料的数据质量； 3.搭建并规模化优化数据处理流水线，保障高并发场景下的运行性能与稳定性。

1）设计并实施大规模语料采集与处理系统，覆盖网页、书籍、代码、对话等多源异构数据； 2）制定数据清洗与去重等各类数据处理策略，提升语料多样性与质量； 3）开发数据质量评估与筛选体系，综合运用多维度方法对语料进行自动化打分与分级淘汰。包括困惑度过滤、质量分类器、内容安全过滤、数据配比与采样等； 4）主导合成数据的设计与生产，覆盖预训练增强与后训练两大场景，提升稀缺领域与长尾能力的数据覆盖，丰富推理、代码相关语料； 5）通过数据消融实验验证数据效果及数据配比策略，推动模型效果提升； 6）分析 MMLU / CMMLU / Humaneval 等开闭源训练指标，指导数据优化方向； 7）维护数据版本管理与数据血缘追踪系统，确保训练数据的可复现性。