影石爬虫工程师

社招全职2年以上2024-06-12地点：深圳状态：招聘

扫码手机上打开

任职要求

1. 计算机或相关专业毕业，本科及以上学历，有2年以上爬虫工作经验；
2. 熟悉Java、Python、HTML、JavaScript等编程语言，了解Spring Boot框架，熟悉常见爬虫框架如Scrapy、Selenium等；
3. 熟悉MySQL、MongoDB等主流数据库，熟练掌握SQL语句编写；
4. 熟悉Linux环境，能使用常用的Linux命令；
5. 熟悉网络基础，了解TCP/IP网络协议，熟悉HTTP协议；
6. 掌握爬虫原理，掌握正则表达式、XPath的使用，掌握常见抓包分析工具如Fiddler、Charles、Wireshark、Postman等，熟悉常见反爬机制；
7. 具备较强的抗压能力，有责任心，注重工作效率和代码质量。

工作职责

1. 负责根据业务需求/规划开展爬虫工作，同时对现有爬虫进行维护和完善；
2. 持续进行爬虫核心技术研究和策略优化，攻克疑难技术问题，设计防屏蔽规则，提升数据抓取的效率和质量；
3. 建立爬虫监测体系，及时监控及解决运行过程中出现的问题，确保数据的稳定性和准确性；
4. 参与公司内部相关平台的架构设计与开发，并结合业务场景及NLP等技术，实现产品化。

📮 投递简历 ✨AI模拟面试

难度：

包括英文材料

学历+

Java+

Python+

HTML+

JavaScript+

Spring Boot+

Selenium+

SQL+

MySQL+

MongoDB+

Linux+

TCP/IP+

HTTP+

相关职位

爬虫工程师

社招1年以上

1. 负责数据挖掘核心技术研究和开发； 2. 对大数据进行分析，挖掘各类用户特征，使用统计建模方法分析用户； 3. 基于海量用户行为数据，构建用户画像及知识图谱，挖掘用户行为模式。

更新于 2025-08-11

爬虫工程师

社招2年以上

1、索引库爬取与建设：负责搜索大环的设计和实现，优化搜索引擎爬虫算法，提高数据采集效率；分析和处理网页数据，提高网页解析的准度和效率。 2、责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性，突破各类反爬限制(如IP封禁、验证码、动态加密等)，设计高效稳定的数据采集方案 3、设计并优化分布式爬虫架构，提升系统并发能力和容错性维护数据采集链路，协同数据分析团队完成数据交付与应用

更新于 2025-05-20

数据采集工程师

社招3年以上数据引擎

爬虫架构师 1.负责大规模广域爬虫引擎的部署、开发、维护； 2.负责爬虫系统的设计与优化； 3.熟悉chromium内核，熟悉js，熟悉dom； 4.熟悉常见的爬虫引擎，具有3年以上相关工作经验。；爬虫工程师 1.严格遵守robots协议，负责大批量数据爬取； 2.负责爬虫代码的日常开发与维护，保证稳定性； 3.负责互联网资源清洗和结构化，网页转码，网页聚合，信息抽取，网页分类； 4.熟悉常见的风控策略，和JS混淆和浏览器引擎，可以快速开发网站采集。

数据爬虫工程师

社招3年以上程序&技术类

岗位职责： 1、遵循robots协议，爬取互联网上允许爬虫采集的公开信息； 2、参与爬虫平台架构设计与基础建设，维护爬取及数据处理任务，保障各类渠道数据的稳定性与正确性； 3、攻克各种爬虫技术难关，提升爬虫平台效果与性能； 4、支持其他的业务数据采集、渠道接入及系统维护等需求。