滴滴资深爬虫开发工程师(J250918019)
社招全职3年以上技术地点:北京状态:招聘
任职要求
1、本科及以上学历,三年以上后端开发经验,能力突出者可放宽要求; 2、精通java和python,掌握异步编程、多线程/多进程同步等技术; 3、熟悉web,app抓取的技术原理,熟悉常用的爬虫框架和组件; 4、熟悉反爬技术,对设备指纹…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1、负责分布式爬虫系统架构的设计和开发; 2、负责对采集数据进行清洗、去重、结构化处理; 3、负责对反爬机制的研究分析,提升采集数据的成功率; 4、负责对系统的性能监控和调优,确保系统的高可用性和稳定性;
包括英文材料
学历+
后端开发+
https://www.youtube.com/watch?v=tN6oJu2DqCM&list=PLWKjhJtqVAbn21gs5UnLhCQ82f923WCgM
Learn what technologies you should learn first to become a back end web developer.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文,免费,零起点,完整示例,基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
多线程+
https://liaoxuefeng.com/books/java/threading/basic/index.html
和单线程相比,多线程编程的特点在于:多线程经常需要读写共享数据,并且需要同步。
https://www.youtube.com/watch?v=_uQgGS_VIXM&list=PLsc-VaxfZl4do3Etp_xQ0aQBoC-x5BIgJ
https://www.youtube.com/watch?v=IEEhzQoKtQU
https://www.youtube.com/watch?v=mTGdtC9f4EU&list=PLL8woMHwr36EDxjUoCzboZjedsnhLP1j4
https://www.youtube.com/watch?v=TPVH_coGAQs&list=PLk6CEY9XxSIAeK-EAh3hB4fgNvYkYmghp
https://www.youtube.com/watch?v=xPqnoB2hjjA
This video is an introduction to multithreading in modern C++.
https://www.youtube.com/watch?v=YKBwKy5PrpQ
Rust threading is easy to implement and improves the efficiency of your applications on multi-core systems!
Web+
https://web.dev/learn
Explore our growing collection of courses on key web design and development subjects.
还有更多 •••
相关职位
社招5年以上网易职能
1. 设计、开发、维护、重构分布式网络爬虫,从各种网站、APP中抓取并清洗结构化数据。 2. 负责持续运营和更新爬虫程序,识别和解决数据源变化和其他问题。 3. 爬虫性能优化,包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。 4. 能够统计和分析爬虫数据,与其他团队合作,如数据工程师、数据分析师协作,以确保数据采集系统的有效性和可靠性。
更新于 2025-11-21杭州
社招5年以上
1. 负责知乎客户端(包括且不限于 PC/H5、Android、IOS、小程序等)反爬升级,保护业务资产不被非法获取。 2. 负责推动防护能力迭代升级,推动反爬治理能力有效落地。
更新于 2025-11-13北京
