携程爬虫工程师(MJ030664)

1. 负责数据挖掘核心技术研究和开发； 2. 对大数据进行分析，挖掘各类用户特征，使用统计建模方法分析用户； 3. 基于海量用户行为数据，构建用户画像及知识图谱，挖掘用户行为模式。

1. 负责根据业务需求/规划开展爬虫工作，同时对现有爬虫进行维护和完善； 2. 持续进行爬虫核心技术研究和策略优化，攻克疑难技术问题，设计防屏蔽规则，提升数据抓取的效率和质量； 3. 建立爬虫监测体系，及时监控及解决运行过程中出现的问题，确保数据的稳定性和准确性； 4. 参与公司内部相关平台的架构设计与开发，并结合业务场景及NLP等技术，实现产品化。

1、索引库爬取与建设：负责搜索大环的设计和实现，优化搜索引擎爬虫算法，提高数据采集效率；分析和处理网页数据，提高网页解析的准度和效率。 2、责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性，突破各类反爬限制(如IP封禁、验证码、动态加密等)，设计高效稳定的数据采集方案 3、设计并优化分布式爬虫架构，提升系统并发能力和容错性维护数据采集链路，协同数据分析团队完成数据交付与应用

1、从事网页数据采集的技术工作 2、负责设计爬虫策略及反爬突破，提升数据采集效率、完整度和稳定性； 3、爬虫系统以及相关工具设计与研发