携程爬虫开发工程师(MJ027783)

1. 设计、开发、维护、重构分布式网络爬虫，从各种网站、APP中抓取并清洗结构化数据。 2. 负责持续运营和更新爬虫程序，识别和解决数据源变化和其他问题。 3. 爬虫性能优化，包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。 4. 能够统计和分析爬虫数据，与其他团队合作，如数据工程师、数据分析师协作，以确保数据采集系统的有效性和可靠性。

1、采集互联网公开的信息，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程； 3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能。

1.负责海外电商平台的数据爬取、清洗与结构化存储，支持价格监控、竞品分析、商品推荐等业务需求； 2.解决反爬机制（如验证码、IP封禁、动态加密等），确保数据抓取的稳定性与效率； 3.参与爬虫框架的选型与开发，维护现有爬虫系统，提升代码可扩展性和健壮性； 4.分析目标网站结构及数据接口，动态调整爬取策略，应对网站改版或反爬策略升级； 5.与数据团队协作，确保数据质量及实时性，提供自动化数据监控与报警机制。

1、参与海量数据的价值挖掘和工程体系攻防技术突破等能力建设，以强大技术驱动力让商家、消费者通过平台撮合交易； 2、负责快手直播电商促销活动海量商品建设，打造完备的数据运营支持体系，探索新场景下的新玩法，服务上亿用户； 3、研究直播电商场景下全新的用户消费习惯、全新的选品策略、全新的商业化思路，以及全新的大数据、人工智能、工程技术应用场景，探索新消费习惯场下隐含的全新技术挑战。