知乎爬虫工程师
社招全职1年以上地点:北京状态:招聘
任职要求
1、1年以上爬虫工作经验,本科及以上学历,能够独立承担爬虫工作;
2、熟悉整个爬虫的设计及实现流程,熟练掌握 Python 语言,熟悉常见的爬虫框架
3、有各大主流网站逆向经验,对反爬虫技术有深入理解,具备应对反…登录查看完整任职要求
微信扫码,1秒登录
工作职责
1、从事网页数据采集的技术工作 2、负责设计爬虫策略及反爬突破,提升数据采集效率、完整度和稳定性; 3、爬虫系统以及相关工具设计与研发
相关职位

社招1年以上
1. 负责数据挖掘核心技术研究和开发; 2. 对大数据进行分析,挖掘各类用户特征,使用统计建模方法分析用户; 3. 基于海量用户行为数据,构建用户画像及知识图谱,挖掘用户行为模式。
更新于 2025-08-11苏州
社招2年以上
1. 负责根据业务需求/规划开展爬虫工作,同时对现有爬虫进行维护和完善; 2. 持续进行爬虫核心技术研究和策略优化,攻克疑难技术问题,设计防屏蔽规则,提升数据抓取的效率和质量; 3. 建立爬虫监测体系,及时监控及解决运行过程中出现的问题,确保数据的稳定性和准确性; 4. 参与公司内部相关平台的架构设计与开发,并结合业务场景及NLP等技术,实现产品化。
更新于 2024-06-12深圳
社招2年以上
1、索引库爬取与建设:负责搜索大环的设计和实现,优化搜索引擎爬虫算法,提高数据采集效率;分析和处理网页数据,提高网页解析的准度和效率。 2、责大规模网页数据的抓取、清洗及结构化存储,保障数据质量和时效性,突破各类反爬限制(如IP封禁、验证码、动态加密等),设计高效稳定的数据采集方案 3、设计并优化分布式爬虫架构,提升系统并发能力和容错性维护数据采集链路,协同数据分析团队完成数据交付与应用
更新于 2025-05-20北京