小红书数据采集工程师
社招全职3年以上数据引擎地点：北京 | 上海状态：招聘
任职要求
1. 3年以上爬虫开发经验，熟悉掌握 python、java、go 之一的语言； 2. 理解html、js、css 等网页相关语言语言，能够完成数据抽泣工作。； 3. 掌握TCP、HTTP、SOCKS 等网络协议的原理和细节； 4. 熟悉SSH、redis、mongodb等工具的使用； 5. 熱悉Linux常用命令，独立完成日常部署更新等 ； 6. 熟悉分布式爬虫架构和基本爬虫知识。
工作职责
爬虫架构师 1.负责大规模广域爬虫引擎的部署、开发、维护； 2.负责爬虫系统的设计与优化； 3.熟悉chromium内核，熟悉js，熟悉dom； 4.熟悉常见的爬虫引擎，具有3年以上相关工作经验。； 爬虫工程师 1.严格遵守robots协议，负责大批量数据爬取； 2.负责爬虫代码的日常开发与维护，保证稳定性； 3.负责互联网资源清洗和结构化，网页转码，网页聚合，信息抽取，网页分类； 4.熟悉常见的风控策略，和JS混淆和浏览器引擎，可以快速开发网站采集。
包括英文材料
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Go+
https://www.youtube.com/watch?v=8uiZC0l4Ajw
学习Golang的完整教程！从开始到结束不到一个小时，包括如何在Go中构建API的完整演示。没有多余的内容，只有你需要知道的知识。
HTML+
https://developer.mozilla.org/zh-CN/docs/Learn_web_development/Core/Structuring_content
[英文] Learn HTML
https://web.dev/learn/html
JavaScript+
https://developer.mozilla.org/zh-CN/docs/Learn_web_development/Core/Scripting
[英文] Learn JavaScript
https://learnjavascript.online/
The easiest way to learn & practice modern JavaScript
[英文] Learn JavaScript
https://web.dev/learn/javascript
https://www.youtube.com/watch?v=zuKbR4Q428o
Write bulletproof JavaScript code with unit testing!
CSS+
HTTP+
https://developer.mozilla.org/zh-CN/docs/Web/HTTP
超文本传输协议（HTTP）是一个用于传输超媒体文档（例如 HTML）的应用层协议。它是为 Web 浏览器与 Web 服务器之间的通信而设计的，但也可以用于其他目的。
SSH+
https://www.digitalocean.com/community/tutorials/ssh-essentials-working-with-ssh-servers-clients-and-keys#how-to-use-this-guide
SSH is a secure protocol used as the primary means of connecting to Linux servers remotely.
https://www.redhat.com/en/blog/ways-use-ssh
Secure shell (SSH) is one of the most ubiquitous Linux tools.
https://www.youtube.com/watch?v=YS5Zh7KExvE
OpenSSH is the essential tool for secure remote access, and it’s a must-know for anyone in DevOps, cloud computing, system administration, hosting, and IT in general.
Redis+
[英文] Developer Hub
https://redis.io/dev/
Get all the tutorials, learning paths, and more you need to start building—fast.
https://www.runoob.com/redis/redis-tutorial.html
REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统，是跨平台的非关系型数据库。
https://www.youtube.com/watch?v=jgpVdJB2sKQ
In this video I will be covering Redis in depth from how to install it, what commands you can use, all the way to how to use it in a real world project.
Linux+
https://ryanstutorials.net/linuxtutorial/
Ok, so you want to learn how to use the Bash command line interface (terminal) on Unix/Linux.
https://ubuntu.com/tutorials/command-line-for-beginners
The Linux command line is a text interface to your computer.
https://www.youtube.com/watch?v=6WatcfENsOU
In this Linux crash course, you will learn the fundamental skills and tools you need to become a proficient Linux system administrator.
https://www.youtube.com/watch?v=v392lEyM29A
Never fear the command line again, make it fear you.
https://www.youtube.com/watch?v=ZtqBQ68cfJc
相关职位
社招3-5年D6256
1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、电商、本地等公司核心业务数据需求； 2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级； 3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。
更新于 2025-09-29
校招J1014
1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、电商、本地等公司核心业务数据需求； 2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级； 3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。
更新于 2025-07-30
社招3年以上研发技术类
从公共、合成和人工来源获取和汇集数据集。 -自动化数据收集、清理和注释工作流程。 -审查和充实数据的质量和相关性。 -设置和管理注释工具和指南。 -维护数据集版本控制和文档编写。 -整合用户和产品的反馈，以改进数据。 - 与算法工程师、产品经理和其他团队合作。
更新于 2025-07-22
社招
1、本科及以上学历，3年及以上相关工作经验； 2、熟悉常用开源爬虫框架，如crapy/pypider/elenium，具备多线程开发思维，了解线程安全相关知识； 3、熟悉常用的信息抽取技术，熟练使用正则表达式，熟悉JS混淆.逆向分析.抓包.伪装证书等技能； 4、熟悉常见的反爬虫技术，熟悉代理使用，有一定的对抗能力； 5、好钻研相关技术，能够主动提出技术设想者加分。
更新于 2024-02-26