京东大模型数据采集高级工程师
任职要求
任职要求
1.本科及以上，计算机相关专业，海量数据采集 / 爬虫 / 数据工程经验，有 LLM 数据交付经验优先。
2.精通 Python/Go/Java 任一，熟悉分布式爬虫、反爬与数据治理。
3. 掌握 Spark/Kafka/Airflow 等技术，具备云…工作职责
大数据工程部定位于为基座模型及业务提供高质量数据与 AI 化解决方案。我们以数据为核心，通过数据工程与模型算法相结合的方式，加速大模型在数据、实验与评测环节的迭代效率，持续沉淀高价值数据资产，支撑模型与应用的演进。在具体实践中，我们面向多语言、多模态大模型训练，开展数据清洗、去重、打标等关键算法与方法建设，并系统性构建预训练与后训练数据管道，从质量、覆盖度与多样性等维度提升数据整体水平，持续助力模型效果提升。同时，我们积极探索合成数据、数据规模扩展规律、多模态数据对齐等前沿数据方向，将数据侧的创新转化为可验证、可复用的模型收益。 岗位职责 1.设计分布式爬虫与调度策略，支撑万亿级 Token 数据供给，开发高可用采集工具，突破反爬，对接多源数据，保障日均 TB 级采集能力。 2.参与搭建自动化清洗 / 去重 / 脱敏流水线，保障数据质量与合规性。维护采集 - 存储 - 处理全链路，监控 SLA，支持云原生与私有化部署。 3.优化数据策略，提升数据性价比与模型对齐度。
我们在做什么： 为大模型训练和评估提供高质量的数据供给。我们需要从各类公开数据源中大规模采集文本、对话、代码等多种类型的数据，部分场景涉及复杂的接口协议和安全策略分析，对工程能力和问题拆解能力有较高要求。 你会参与： 1. 分析目标数据源的接口协议与安全策略 2. 主流 Web 安全防护机制的研究与适配 3. JS 代码分析与调试，提取关键业务逻辑 4. Web 协议分析与接口还原 5. 移动端数据通路建设（协议分析、安全机制适配） 6. 设计并开发高可用数据采集系统，完成大规模数据的清洗与结构化存储
我们是公司最核心的"造脑"团队。在这里，我们掌管着 万卡级别的算力集群，致力于训练下一代千亿/万亿参数的基座模型（Base Model）。 但算力只是容器，数据才是灵魂。 作为支撑这艘万卡巨轮运转的"燃料"输送团队，我们坚信：在通往 AGI 的道路上，如果有谁能决定基座模型的知识广度，那就是掌握了互联网数据全貌的人。 我们致力于构建下一代互联网数据索引系统。我们不仅仅是信息的"淘金者"，更是信息熵的"鉴赏家"。我们用极致的分布式工程手段，处理 PB 级别的全球网络数据，并通过严谨的实验闭环，为千亿参数模型提供最纯净、最高信噪比的训练语料。 【你将面临的挑战】 这不需要你从头设计 Transformer 架构，但需要你拥有驾驭海量数据的工程野心。这绝对不是一份"写写 Python 脚本抓网页"的无聊工作。我们要解决的是 "如何把整个互联网装进硬盘，并读懂它" 的终极难题： 1. 通用全网索引构建 (The "Google Index" Challenge) • 挑战目标： 这是一个重新索引互联网的工程。不局限于特定站点的爬虫，我们需要设计通用的、覆盖全网的发现与采集策略。 • 核心工作： 面对指数级膨胀的 URL 队列，设计高效的调度算法与链路分析策略，从海量垃圾中精准定位高价值信息孤岛，构建高质量的互联网快照。 2. 基于模型的智能解析 (Intelligent Parsing Pipeline) • 挑战目标： 传统的正则提取已经过时，我们要挑战数千亿网页的深度理解。 • 核心工作： 探索基于视觉/语言模型（VLM/LLM）的通用网页解析技术，像人类一样"看懂"复杂的网页布局、PDF 文档与学术论文，从中无损提取推理（Reasoning）与代码数据。你需要在 Spark 集群上优化这些算法，使其能在 PB 级数据上快速迭代。 3. 数据价值评估闭环 (Data Value Evaluation) • 挑战目标： 建立数据质量的"度量衡"。 • 核心工作： 参与基座模型的训练实验，量化不同来源数据对模型最终效果的贡献。 • 我们将给予你足够的算力支持，去验证你的数据假设。 • 你需要用客观的 Loss 曲线和评测指标（Metrics）反向指导采集策略——告诉爬虫下一台该去抓什么，而不是盲目地堆砌数量。 【我们在寻找这样的你】 我们寻找的是系统型与算法型的复合人才。我们不在乎你是否发过顶会 Paper，我们在乎你的代码在处理 100TB 数据时会不会 OOM。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：大模型数据服务中心，是抖音集团旗下为大模型业务提供数据、评估、运营等专业解决方案的团队； 主要承接大模型数据生产、大模型评估及运营相关的业务，与研发、产品等团队紧密合作，在预训练、数据监督微调、模型强化学习、模型能力评估、产品运营等大模型全链路数据环节，共同推动模型能力持续提升与应用。 1、协调业务、产品等跨部门资源，端到端负责AI模型训练数据支持项目的运营推进； 2、参与音视图文数据采集全流程设计与优化，包括标准制定、流程节点管理、自动化Workflow搭建及全链路质量监控体系建立； 3、使用AI工具应用场景落地与运营，持续优化数据生产效率与智能化水平，推动项目目标达成； 4、跟踪人工智能领域最新进展，结合项目需求探索创新性数据生产模式，并推动试点与规模化应用。
1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、商业化等核心业务数据需求； 2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级； 3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。