同程旅行爬虫工程师

1. 负责根据业务需求/规划开展爬虫工作，同时对现有爬虫进行维护和完善； 2. 持续进行爬虫核心技术研究和策略优化，攻克疑难技术问题，设计防屏蔽规则，提升数据抓取的效率和质量； 3. 建立爬虫监测体系，及时监控及解决运行过程中出现的问题，确保数据的稳定性和准确性； 4. 参与公司内部相关平台的架构设计与开发，并结合业务场景及NLP等技术，实现产品化。

1、索引库爬取与建设：负责搜索大环的设计和实现，优化搜索引擎爬虫算法，提高数据采集效率；分析和处理网页数据，提高网页解析的准度和效率。 2、责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性，突破各类反爬限制(如IP封禁、验证码、动态加密等)，设计高效稳定的数据采集方案 3、设计并优化分布式爬虫架构，提升系统并发能力和容错性维护数据采集链路，协同数据分析团队完成数据交付与应用

1、从事网页数据采集的技术工作 2、负责设计爬虫策略及反爬突破，提升数据采集效率、完整度和稳定性； 3、爬虫系统以及相关工具设计与研发

1.负责分布式网络爬虫系统的设计与开发工作。2.对多平台数据源（WEB/APP/H5/小程序等）进行数据采集及分析。3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。4.设计数据采集策略，提升数据采集效率及质量。