知乎爬虫工程师
社招全职2年以上地点：北京状态：招聘
任职要求
1、精通Python及Scrapy框架，熟悉常见反爬应对策略 2、深入理解HTTP协议和前端渲染机制，能独立分析动态网页结构 3、掌握主流数据库(MySOL/MongoDB/Redis/HB…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
1、索引库爬取与建设：负责搜索大环的设计和实现，优化搜索引擎爬虫算法，提高数据采集效率；分析和处理网页数据，提高网页解析的准度和效率。 2、责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性，突破各类反爬限制(如IP封禁、验证码、动态加密等)，设计高效稳定的数据采集方案 3、设计并优化分布式爬虫架构，提升系统并发能力和容错性维护数据采集链路，协同数据分析团队完成数据交付与应用
包括英文材料
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
HTTP+
https://developer.mozilla.org/zh-CN/docs/Web/HTTP
超文本传输协议（HTTP）是一个用于传输超媒体文档（例如 HTML）的应用层协议。它是为 Web 浏览器与 Web 服务器之间的通信而设计的，但也可以用于其他目的。
MySQL+
https://juejin.cn/post/7190306988939542585
这是一篇 MySQL 通关一篇过硬核经验学习路线，包括数据库相关知识，SQL语句的使用，数据库约束，设计等。
[英文] MySQL Tutorial
https://www.mysqltutorial.org/
your go-to resource for mastering MySQL in a fast, easy, and enjoyable way.
https://www.youtube.com/watch?v=5OdVJbNCSso
MySQL SQL tutorial for beginners
https://www.youtube.com/watch?v=7S_tz1z_5bA
This beginner-friendly course teaches you SQL from scratch.
还有更多 •••
相关职位
社招1年以上
1. 负责数据挖掘核心技术研究和开发； 2. 对大数据进行分析，挖掘各类用户特征，使用统计建模方法分析用户； 3. 基于海量用户行为数据，构建用户画像及知识图谱，挖掘用户行为模式。
更新于 2025-08-11苏州
社招2年以上
1. 负责根据业务需求/规划开展爬虫工作，同时对现有爬虫进行维护和完善； 2. 持续进行爬虫核心技术研究和策略优化，攻克疑难技术问题，设计防屏蔽规则，提升数据抓取的效率和质量； 3. 建立爬虫监测体系，及时监控及解决运行过程中出现的问题，确保数据的稳定性和准确性； 4. 参与公司内部相关平台的架构设计与开发，并结合业务场景及NLP等技术，实现产品化。
更新于 2024-06-12深圳
社招2年以上住宿业务开发
1.负责分布式网络爬虫系统的设计与开发工作。2.对多平台数据源（WEB/APP/H5/小程序等）进行数据采集及分析。3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。4.设计数据采集策略，提升数据采集效率及质量。
更新于 2025-10-21上海