拼多多大模型数据工程师
任职要求
1）计算机、软件工程、数据科学等相关专业本科及以上学历； 2）1年及以上数据抓取、爬虫开发、数据清洗处理相关工作经验，有大规模数据项目经验者优先； 3）理解常见网站的技术栈与反爬机制（UA / Cookie / IP 限制 / JS 加密 / 动态加载等），有实战应对经验； 4）有分布式爬虫架构经验，熟悉任务调度、队列、代理池、失败重试、断点续传、去重机制等常见设计； 5）对性能优化有实际经验，能在抓取效…
工作职责
1）数据抓取与采集：负责从 web、社区论坛、App 等多源渠道进行结构化 / 非结构化数据抓取，包括文本、图像、音视频、代码等多模态数据。设计并实现高可用、高性能的分布式爬虫系统，处理大规模数据抓取任务； 2）数据清洗与预处理：针对大模型训练需求，设计并实现数据清洗、去重、规范化、分片、格式转换等处理流程。构建垃圾数据、低质数据、违规内容的识别与过滤规则，提升数据整体质量。对文本进行分句、语言检测、去噪、标点规范、编码修复等基础预处理； 3）数据质量评估与标注支持：与算法 / 训练团队协作，制定适用于预训练、指令微调（SFT）、对话数据等不同场景的数据质量标准与评估指标；
1、设计和开发分布式大模型数据平台，提供高性能、可扩展的数据处理链路，支撑LongCat基座、语言模型和多模态大模型的高效训练迭代； 2、构建海量数据的全生命周期管理体系，提供元信息、数据血缘、存储治理、可视化与可观测能力；探索数据实验和数据发版的工程上限； 3、深入理解大模型训练流程和数据策略，抽象并开发高效、可靠的数据加工框架，显著提升算法团队的数据工程效率； 4、与算法工程师紧密配合，设计数据策略解决方案，用工程能力放大数据对模型效果的杠杆作用。
1.面向3D大模型的预训练与后训练数据管线，参与设计和实现高性能、可扩展的分布式大数据处理平台，支撑海量数据的清洗、标注、归一化等预处理操作，确保数据质量与处理效率； 2.基于Kubernetes（K8S）体系构建并优化大规模任务处理系统，负责GPU、CPU等异构资源的编排与调度，通过资源配额、负载均衡、节点亲和性等策略提升资源利用率和系统稳定性； 3.与算法工程师紧密协作，深入理解3D大模型研发流程（包括数据收集、模型训练、评估调优等），参与前沿模型中3D数据解决方案的设计、开发与维护，持续提升平台的数据生产效率、易用性及系统健壮性；
大数据工程部定位于为基座模型及业务提供高质量数据与 AI 化解决方案。我们以数据为核心，通过数据工程与模型算法相结合的方式，加速大模型在数据、实验与评测环节的迭代效率，持续沉淀高价值数据资产，支撑模型与应用的演进。在具体实践中，我们面向多语言、多模态大模型训练，开展数据清洗、去重、打标等关键算法与方法建设，并系统性构建预训练与后训练数据管道，从质量、覆盖度与多样性等维度提升数据整体水平，持续助力模型效果提升。同时，我们积极探索合成数据、数据规模扩展规律、多模态数据对齐等前沿数据方向，将数据侧的创新转化为可验证、可复用的模型收益。 岗位职责 1.设计分布式爬虫与调度策略，支撑万亿级 Token 数据供给，开发高可用采集工具，突破反爬，对接多源数据，保障日均 TB 级采集能力。 2.参与搭建自动化清洗 / 去重 / 脱敏流水线，保障数据质量与合规性。维护采集 - 存储 - 处理全链路，监控 SLA，支持云原生与私有化部署。 3.优化数据策略，提升数据性价比与模型对齐度。
1. 负责大模型的高质量的数据构造工作，主要在code、Agentic等垂域数据任务 2. 大规模数据解析、清洗、去重，以及数据生成/合成等工作，覆盖GitHub、代码镜像、内部代码库等。 3. 设计并实现面向 Agent 轨迹采集的沙盒环境，支持工具调用（Function Call）、多步规划、环境交互等行为记录。 4. 构建 Agentic 任务的数据标注规范和质量评估框架，包括轨迹合法性校验、奖励建模所需的偏好数据构造