腾讯混元大模型数据爬虫架构工程师（北京）

1.负责多种模态数据（文本/图像/视频/3D模型）采集方案设计与实施； 2.通过爬虫技术获取各类数据，开发分布式采集系统，优化效率与质量； 3.联合算法团队制定数据标准，建立数据治理体系，提升训练数据可用性。

1.基于大模型训练对于数据的需求进行互联网数据抓取，对提供给大模型训练/搜索等场景的语料进行清洗，提升语料纯度； 2.建设对标业内前沿的大模型训练数据集和数据清洗能力，提升数据质量和多样性，并验证数据价值和效果。

1.设计和开发大规模预训练数据处理pipeline，为模型预训练提供稳定、可靠的高质量数据处理能力； 2.根据大模型训练数据特点，抽象并开发高效、可靠的数据加工框架，提升处理数据的工程效率； 3.建设对标业内前沿的大模型训练数据集，提升数据质量和多样性，并验证数据价值和效果。

1.负责大模型标注的全流程管理，高效承接大模型文本、图片、视频等数据标注业务需求，包括但不限于项目规划、需求分析、进度把控、资源协调以及质量保障，确保项目按时交付并达到预期目标； 2.数据质量把控：负责数据质量把控，梳理并分析数据质量的问题，优化质控方案，能够反哺和迭代标注标准，提升标注质量； 3.团队协作：支持项目经理和产研团队的相关工作，理解项目需求、模型表现和相应的数据实验，协同产研提高模型质量。