携程高级/资深爬虫工程师(MJ026823)
社招全职2年以上住宿业务开发地点：上海状态：招聘
任职要求
1.计算机相关专业，本科及以上学历，有2年以上爬虫相关经验。2.掌握至少一种开发语言Java/Python，具备良好的编码能力、扎实的数据结构知识 。3.熟悉TCP/IP，HTTP及相关网络协议。4.了解各种Web前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等。5.有反爬相关问题处理经验，熟悉常用的爬虫技术及架构设计。6.对分布式、多线程、缓存、消息队列等常用互联网技术有一定了解。7.热爱技术开发，善于学习，善于团队协作，能积极主动地参与公司产品研发等相关工作。8.熟悉移动端APP安全及逆向技术、图像识别技术、WebKit或其他浏览器引擎、JavaScript逆向技术，有相关经验者优先考虑。
工作职责
1.负责分布式网络爬虫系统的设计与开发工作。2.对多平台数据源（WEB/APP/H5/小程序等）进行数据采集及分析。3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。4.设计数据采集策略，提升数据采集效率及质量。
包括英文材料
学历+
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
数据结构+
https://www.youtube.com/watch?v=8hly31xKli0
In this course you will learn about algorithms and data structures, two of the fundamental topics in computer science.
https://www.youtube.com/watch?v=B31LgI4Y4DQ
Learn about data structures in this comprehensive course. We will be implementing these data structures in C or C++.
https://www.youtube.com/watch?v=CBYHwZcbD-s
Data Structures and Algorithms full course tutorial java
TCP/IP+
[英文] What is TCP/IP?
https://www.techtarget.com/searchnetworking/definition/TCP-IP
TCP/IP stands for Transmission Control Protocol/Internet Protocol and is a suite of communication protocols used to interconnect network devices on the internet.
HTTP+
https://developer.mozilla.org/zh-CN/docs/Web/HTTP
超文本传输协议（HTTP）是一个用于传输超媒体文档（例如 HTML）的应用层协议。它是为 Web 浏览器与 Web 服务器之间的通信而设计的，但也可以用于其他目的。
Web+
https://web.dev/learn
Explore our growing collection of courses on key web design and development subjects.
XML+
https://developer.mozilla.org/zh-CN/docs/Web/XML/Guides/XML_introduction
XML（Extensible Markup Language）是一种类似于 HTML，但是没有使用预定义标记的语言。
CSS+
JavaScript+
https://developer.mozilla.org/zh-CN/docs/Learn_web_development/Core/Scripting
[英文] Learn JavaScript
https://learnjavascript.online/
The easiest way to learn & practice modern JavaScript
[英文] Learn JavaScript
https://web.dev/learn/javascript
https://www.youtube.com/watch?v=zuKbR4Q428o
Write bulletproof JavaScript code with unit testing!
AJAX+
系统设计+
https://roadmap.sh/system-design
Everything you need to know about designing large scale systems.
https://www.youtube.com/watch?v=F2FmTdLtb_4
This complete system design tutorial covers scalability, reliability, data handling, and high-level architecture with clear explanations, real-world examples, and practical strategies.
多线程+
https://liaoxuefeng.com/books/java/threading/basic/index.html
和单线程相比，多线程编程的特点在于：多线程经常需要读写共享数据，并且需要同步。
https://www.youtube.com/watch?v=_uQgGS_VIXM&list=PLsc-VaxfZl4do3Etp_xQ0aQBoC-x5BIgJ
https://www.youtube.com/watch?v=IEEhzQoKtQU
https://www.youtube.com/watch?v=mTGdtC9f4EU&list=PLL8woMHwr36EDxjUoCzboZjedsnhLP1j4
https://www.youtube.com/watch?v=TPVH_coGAQs&list=PLk6CEY9XxSIAeK-EAh3hB4fgNvYkYmghp
https://www.youtube.com/watch?v=xPqnoB2hjjA
This video is an introduction to multithreading in modern C++.
https://www.youtube.com/watch?v=YKBwKy5PrpQ
Rust threading is easy to implement and improves the efficiency of your applications on multi-core systems!
缓存+
https://hackernoon.com/the-system-design-cheat-sheet-cache
The cache is a layer that stores a subset of data, typically the most frequently accessed or essential information, in a location quicker to access than its primary storage location.
https://www.youtube.com/watch?v=bP4BeUjNkXc
Caching strategies, Distributed Caching, Eviction Policies, Write-Through Cache and Least Recently Used (LRU) cache are all important terms when it comes to designing an efficient system with a caching layer.
https://www.youtube.com/watch?v=dGAgxozNWFE
消息队列+
https://www.youtube.com/watch?v=xErwDaOc-Gs
相关职位
社招3年以上技术
1. 深入理解滴滴海外业务模式、流程和系统架构，和相关产品技术、业务运营高效沟通，设计合理的数据仓库架构。 2. 充分利用滴滴现有的各种数据仓库及反作弊处理平台，设计、开发和维护高效、可扩展的大数据处理系统，以支持安全反作弊业务的数据驱动决策和业务发展。设计并优化离线/实时数仓模型（如 ODS、DWD、DWS、ADS 分层），支持实时报表、监控和风控等场景。 3. 对多源异构数据（日志、事件消息、API、爬虫数据等）进行清洗、解析和结构化处理，提取关键业务信息。解决数据清洗中的 脏数据、格式混乱、缺失值、重复数据 等问题，提升数据质量。与数据开发、算法、业务团队协作，理解需求并构建高效的数据处理流程。 4. 跟踪大数据领域的新技术、新工具，不断探索并引入以提升团队的技术能力和项目效率。优化流式计算任务的 资源利用率（如 Flink 任务调优、Kafka 分区策略调整）。 5. 国际化安全反作弊技术团队其他开发工作。
更新于 2025-06-16
社招3年以上技术
1. 深入理解滴滴海外业务模式、流程和系统架构，和相关产品技术、业务运营高效沟通，设计合理的数据仓库架构。 2. 充分利用滴滴现有的各种数据仓库及反作弊处理平台，设计、开发和维护高效、可扩展的大数据处理系统，以支持安全反作弊业务的数据驱动决策和业务发展。设计并优化离线/实时数仓模型（如 ODS、DWD、DWS、ADS 分层），支持实时报表、监控和风控等场景。 3. 对多源异构数据（日志、事件消息、API、爬虫数据等）进行清洗、解析和结构化处理，提取关键业务信息。解决数据清洗中的 脏数据、格式混乱、缺失值、重复数据 等问题，提升数据质量。与数据开发、算法、业务团队协作，理解需求并构建高效的数据处理流程。 4. 跟踪大数据领域的新技术、新工具，不断探索并引入以提升团队的技术能力和项目效率。优化流式计算任务的 资源利用率（如 Flink 任务调优、Kafka 分区策略调整）。 5. 国际化安全反作弊技术团队其他开发工作。
更新于 2025-08-27
社招住宿业务AI &
1、负责离线和在线数据的采集、清洗和加载； 2、负责通过专项分析，输出专项分析报告，为业务决策和监控提供数据支持； 3、负责携程大量商户/用户数据的分析和提炼。
更新于 2025-03-31
社招住宿业务AI &
1、 对OTA领域及其商户和用户行为建模有兴趣 2、 参与业务分析、特征构建、模型建立、算法实现等过程，实现算法效果逐步迭代并跟进业务效果 3、 负责机器学习、深度学习等前沿问题的探索和研究，分析和解构实际应用场景，提供全面的技术解决方案
更新于 2025-10-09