腾讯混元大模型数据开发工程师

1.负责大模型全量数据的向量化检索和向量化排重服务，实现实时向量化排重系统； 2.通过向量化检索性能的优化，提升文本排重的准确率和性能； 3.建立大模型数据清洗的反馈机制和反馈系统，提升全网数据抓取效率； 4.参与大模型的数据工程开发，为大模型提供基础数据。

1.负责大模型公共支撑体系的平台建设，为大模型数据高效交付提供平台能力支持； 2.负责大模型评测、数据标注、数据管理及现网运营的平台研发，构建全面的系统化支撑能力； 3.深入分析发掘各项流程环节的瓶颈，推动流程完善，通过平台建设系统优化落地； 4.负责现网问题响应，进行故障排查和保障平台质量，优化平台各节点性能，提升运营效率。

1.设计和开发大规模预训练数据处理pipeline，为模型预训练提供稳定、可靠的高质量数据处理能力； 2.根据大模型训练数据特点，抽象并开发高效、可靠的数据加工框架，提升处理数据的工程效率； 3.建设对标业内前沿的大模型训练数据集，提升数据质量和多样性，并验证数据价值和效果。

1.负责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性； 2.设计并优化分布式爬虫架构，提升系统并发能力和容错性，提升系统性能； 3.维护数据采集链路，协同系统数据分析团队完成数据交付与应用。