快手数据采集工程师

1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、电商、本地等公司核心业务数据需求；  2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级；  3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。

从公共、合成和人工来源获取和汇集数据集。 -自动化数据收集、清理和注释工作流程。 -审查和充实数据的质量和相关性。 -设置和管理注释工具和指南。 -维护数据集版本控制和文档编写。 -整合用户和产品的反馈，以改进数据。 - 与算法工程师、产品经理和其他团队合作。

【数据采集工程师】 工作职责 1、负责分布式爬虫系统的设计与优化 2、负责大规模广域爬虫引擎的部署、开发、维护 3、负责大规模网页数据采集系统开发，互联网资源清洗和结构化，网页转码，网页聚合，信息抽取，网页分类 【数据解析工程师】 工作职责： 1、负责百亿级搜索内容解析系统建设，持续提升解析效果和性能 2、应用大模型技术，提升数据解析质量和成功率 3、负责互联网海量数据（网页、文档、富媒体等）的去重、清洗、结构化导入、分类、信息抽取与价值评估

1、本科及以上学历，3年及以上相关工作经验； 2、熟悉常用开源爬虫框架，如crapy/pypider/elenium，具备多线程开发思维，了解线程安全相关知识； 3、熟悉常用的信息抽取技术，熟练使用正则表达式，熟悉JS混淆.逆向分析.抓包.伪装证书等技能； 4、熟悉常见的反爬虫技术，熟悉代理使用，有一定的对抗能力； 5、好钻研相关技术，能够主动提出技术设想者加分。