拼多多大模型预训练数据工程师
任职要求
1）扎实的编程能力（Python必须，Java / Golang / Javascript 至少一种），良好的数据结构和算法基础； 2）熟悉软件工程基本流程（构建 / 调试 / 测试 / CI）； 3）对代码质量、系统设计有基本理解； 4）具备数据质量判断分析能力； 5）理解大模型训练基本流程； 6）了解 Transformer 结构与训练特性； 7）了解相关训练指标（Loss / Entr…
工作职责
1）设计并实施大规模语料采集与处理系统，覆盖网页、书籍、代码、对话等多源异构数据； 2）制定数据清洗与去重等各类数据处理策略，提升语料多样性与质量； 3）开发数据质量评估与筛选体系，综合运用多维度方法对语料进行自动化打分与分级淘汰。包括困惑度过滤、质量分类器、内容安全过滤、数据配比与采样等； 4）主导合成数据的设计与生产，覆盖预训练增强与后训练两大场景，提升稀缺领域与长尾能力的数据覆盖，丰富推理、代码相关语料； 5）通过数据消融实验验证数据效果及数据配比策略，推动模型效果提升； 6）分析 MMLU / CMMLU / Humaneval 等开闭源训练指标，指导数据优化方向； 7）维护数据版本管理与数据血缘追踪系统，确保训练数据的可复现性。
1. 预训练语料策略与体系搭建，负责大模型预训练阶段的数据策略，覆盖通用语料、垂直领域语料的全流程数据方案设计。 2. 主导数据评估：建立清晰可量化的数据评估标准，提高评估效率；验证数据有效性，推动模型迭代； 3. 数据驱动的模型迭代，深度理解预训练技术原理，通过数据分析定位模型能力短板，制定针对性数据补充策略，推动模型技术迭代升级。 4. 前沿探索，保持对开源模型（如DeepSeek、Qwen等）及学术前沿的敏锐度,沉淀可复用的数据方法论,为团队提供中短期数据策略规划。 5. 与算法、技术团队合作开发数据工具链，主动发现问题，发起项目，管理数据生产团队,把控数据质量与项目进度,推动跨团队高效协作,确保数据按时高质交付。 6. 主导垂直领域语料体系的从0到1搭建（包括但不限于人文/学科/code等体系），能够定义各体系的质量标准，并设计可量化的评估指标。
该职位会专注于大规模离线LLM推理在文本处理场景中的研究和开发，具体职责包括： 1、大模型的量化调优，在较低内存和CPU算力的环境中，依然可以达到较高的token处理和生成速率。 2、常用推理框架(e.g. vLLM, Llama.cpp)，在网页文本处理任务上的性能调优，特别是针对质量分计算或者打标场景的调优。 3、中低端GPU对于小参数LLM(1.5B/3B/7B/14B等规格）的推理性能调优。
本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘，建立数据与模型能力之间的因果联系，打造下一代万亿基座模型的高效数据引擎，致力于提升基座模型的智能上限。研究内容包括但不限于： 1.研发基于模型的高效数据质量评估、去重与清洗算法，提高数据质量、多样性和覆盖度。 2.深入探究数据分布与模型能力的因果关系，建立“训练数据-模型效果”归因机制，探索并突破基座模型的能力上限。 3.探索自动化数据筛选机制、动态配比（Data Mixture）与多阶段训练范式，探索不同类型数据对模型能力的Scaling Law。 4.构建科学、多维度的基座模型能力和潜力评估，驱动预训练数据策略的优化，形成高效的数据迭代闭环。 【为什么是我们】 1.明确的技术判断：团队在原生多模态方向有非共识的长期投入，已发布 LongCat-Next 技术报告（离散自回归原生多模态），不是跟随式的能力补齐。 2.顶级资源支撑：5～6万卡计算集群，万亿参数文本基座已训练完成，多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。 3.主线与探索并行：既承担多模态基座的核心交付工作，也推进下一代原生多模态架构的前沿探索，覆盖"数据→tokenizer→预训练→后训练→RL"全链路。
简介：本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘，建立数据与模型能力之间的因果联系，打造下一代万亿基座模型的高效数据引擎，致力于提升基座模型的智能上限。研究内容包括但不限于： 1、研发基于模型的高效数据质量评估、去重与清洗算法，提高数据质量、多样性和覆盖度。 2、深入探究数据分布与模型能力的因果关系，建立“训练数据-模型效果”归因机制，探索并突破基座模型的能力上限。 3、探索自动化数据筛选机制、动态配比（Data Mixture）与多阶段训练范式，探索不同类型数据对模型能力的Scaling Law。 4、构建科学、多维度的基座模型能力和潜力评估，驱动预训练数据策略的优化，形成高效的数据迭代闭环。