阿里巴巴数据技术及产品部-数据采集工程师-websearch方向
社招全职3年以上技术类-数据地点:杭州状态:招聘♡ 收藏
工作描述
任职要求 任职要求: 1.计算机或相关专业,本科及以上学历;熟练掌握 Python,熟悉 Java、Go 或 C++ 中至少一种语言,具备良好的工程开发能力。 2.具备搜索引擎爬虫、网页采集或分布式调度相关经验,熟悉任务队列、去重、优先级调度、限速及状态管理。熟悉 HTTP/HTTPS、Cookie、缓存、重定向及常见网络异常,理解 HTML、DOM、JavaScript、URL 和页面链接关系。 3.理解网页分类、内容变化检测和页面有效性判断方法,具备系统设计、问题定位及评测能力,能够综合优化覆盖率、时效性、成本和稳定性。加分项有搜索引擎全网抓取、大规模 URL 管理或采集与索引联动优化经验。 加分项: 1.有更新频率预测、自适应调度、链接分析或网页近…
登录查看完整工作描述
微信扫码,1秒登录
包括英文材料
学历+
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文,免费,零起点,完整示例,基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Go+
https://www.youtube.com/watch?v=8uiZC0l4Ajw
学习Golang的完整教程!从开始到结束不到一个小时,包括如何在Go中构建API的完整演示。没有多余的内容,只有你需要知道的知识。
C+++
https://www.learncpp.com/
LearnCpp.com is a free website devoted to teaching you how to program in modern C++.
https://www.youtube.com/watch?v=ZzaPdXTrSb8
HTTP+
https://developer.mozilla.org/zh-CN/docs/Web/HTTP
超文本传输协议(HTTP)是一个用于传输超媒体文档(例如 HTML)的应用层协议。它是为 Web 浏览器与 Web 服务器之间的通信而设计的,但也可以用于其他目的。
缓存+
https://hackernoon.com/the-system-design-cheat-sheet-cache
The cache is a layer that stores a subset of data, typically the most frequently accessed or essential information, in a location quicker to access than its primary storage location.
https://www.youtube.com/watch?v=bP4BeUjNkXc
Caching strategies, Distributed Caching, Eviction Policies, Write-Through Cache and Least Recently Used (LRU) cache are all important terms when it comes to designing an efficient system with a caching layer.
https://www.youtube.com/watch?v=dGAgxozNWFE
HTML+
https://developer.mozilla.org/zh-CN/docs/Learn_web_development/Core/Structuring_content
[英文] Learn HTML
https://web.dev/learn/html
DOM+
https://developer.mozilla.org/en-US/docs/Web/API/Document_Object_Model/Introduction
The Document Object Model (DOM) is the data representation of the objects that comprise the structure and content of a document on the web.
还有更多 •••
相关职位
社招2年以上技术类-数据
1. 5 年以上后端、爬虫平台、搜索引擎、数据平台、数据治理、安全合规或 AI 数据工程经验,有复杂系统设计和跨团队项目推进经验。 2. 熟悉大规模网页采集系统,理解 URL 调度、网页解析、内容抽取
更新于 2026-11-08杭州
社招3年以上技术类-开发
1. 具备扎实的客户端开发基础,熟悉 Android 或鸿蒙开发,有 SDK 或客户端基础组件开发经验。 2. 熟悉 Java/Kotlin 或 ArkTS,具备 C/C++ 代码阅读与调试能力,理解
更新于 2026-10-27杭州
社招1年以下技术类-数据
1. 学历与专业: ○ 硕士及以上学历,计算机、人工智能、软件工程、数据科学、统计学等相关专业。 2. 核心技能: ○ 熟练掌握 Python、SQL,熟悉至少一种深度学习框架
更新于 2026-10-14杭州