网易资深爬虫开发工程师（杭州/广州）

任职要求

1. 本科及以上学历，计算机相关专业，至少5年及以上项目开发经验，扎实的技术理论基础，数据结构以及算法等；
2. 熟练掌握 Python编程语言，掌握 Selenium、Scrapy、PlayWright等框架的用法，熟悉任意开源爬虫框架。
3. 熟悉 HTML、JavaScript，懂得分析常见 Web界面结构，掌握基本 jQuery、CSS、XPath等语法。
4. 熟悉 App逆向分析、调试、加固、混淆等技术；有 ollvm、unicorn开发经验…

工作职责

1. 设计、开发、维护、重构分布式网络爬虫，从各种网站、APP中抓取并清洗结构化数据。
2. 负责持续运营和更新爬虫程序，识别和解决数据源变化和其他问题。
3. 爬虫性能优化，包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。
4. 能够统计和分析爬虫数据，与其他团队合作，如数据工程师、数据分析师协作，以确保数据采集系统的有效性和可靠性。