快手爬虫开发工程师-【电商】

1.负责海外电商平台的数据爬取、清洗与结构化存储，支持价格监控、竞品分析、商品推荐等业务需求； 2.解决反爬机制（如验证码、IP封禁、动态加密等），确保数据抓取的稳定性与效率； 3.参与爬虫框架的选型与开发，维护现有爬虫系统，提升代码可扩展性和健壮性； 4.分析目标网站结构及数据接口，动态调整爬取策略，应对网站改版或反爬策略升级； 5.与数据团队协作，确保数据质量及实时性，提供自动化数据监控与报警机制。

1.负责分布式网络爬虫系统的设计与开发工作。 2.对多平台数据源（WEB/APP/H5/小程序等）进行数据采集及分析。 3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。 4.设计数据采集策略，提升数据采集效率及质量。

1. 负责根据业务需求和规划开展爬虫开发工作，包括数据解析与清洗，数据链路优化等，同时对现有爬虫进行维护和完善； 2. 参与爬虫核心技术研究，维护和升级现有技术体系，快速定位并修复现有软件缺陷，对线上问题进行及时响应并解决 3. 参与爬虫监测体系建设，及时监控及解决运行过程中出现的问题，确保数据的稳定性和准确性； 4. 参与公司内部爬虫平台的架构设计与开发，并结合业务场景及NLP等技术，实现产品化。

1.参与分布式爬虫系统的设计与开发; 2.负责平台外部数据覆盖，并解决高并发爬取、海量存储等问题； 3.负责监控框架的迭代和改进，维护所需资源池，并探索最新的技术能力; 4.负责部分硬件SDK开发（安卓或C++方向)。