京东电商数据开发工程师
社招全职3-5年数据开发岗地点:北京状态:招聘
任职要求
1.3-5年爬虫开发经验,熟悉电商平台数据抓取场景,有大规模(百万级/日)爬虫系统实战经验; 2.精通Python(Scrapy、Requests、BeautifulSoup等),熟悉异步框架(如aiohttp、Celery)、数据库(MySQL/MongoDB/Redis)及消息队列(Kafka/RabbitMQ); 3.深入理解反爬技术(User-Agent轮换、代理IP池、Selenium/Puppeteer模拟等),…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1.负责海外电商平台的数据爬取、清洗与结构化存储,支持价格监控、竞品分析、商品推荐等业务需求; 2.解决反爬机制(如验证码、IP封禁、动态加密等),确保数据抓取的稳定性与效率; 3.参与爬虫框架的选型与开发,维护现有爬虫系统,提升代码可扩展性和健壮性; 4.分析目标网站结构及数据接口,动态调整爬取策略,应对网站改版或反爬策略升级; 5.与数据团队协作,确保数据质量及实时性,提供自动化数据监控与报警机制。
包括英文材料
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文,免费,零起点,完整示例,基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
MySQL+
https://juejin.cn/post/7190306988939542585
这是一篇 MySQL 通关一篇过硬核经验学习路线,包括数据库相关知识,SQL语句的使用,数据库约束,设计等。
[英文] MySQL Tutorial
https://www.mysqltutorial.org/
your go-to resource for mastering MySQL in a fast, easy, and enjoyable way.
https://www.youtube.com/watch?v=5OdVJbNCSso
MySQL SQL tutorial for beginners
https://www.youtube.com/watch?v=7S_tz1z_5bA
This beginner-friendly course teaches you SQL from scratch.
MongoDB+
https://learnxinyminutes.com/mongodb/
MongoDB is a NoSQL document database for high volume data storage.
https://studio3t.com/academy/#courses
The fastest way to learn MongoDB
https://www.youtube.com/watch?v=c2M-rlkkT5o
This video will give you and introduction to MongoDB in 1 Hour. Afterwards I recommend exploring aggregation, replication, and sharding.
https://www.youtube.com/watch?v=ExcRbA7fy_A&list=PL4cUxeGkcC9h77dJ-QJlwGlZlTd4ecZOA
You'll learn how to use MongoDB (a NoSQL database) from scratch. You'll also learn how to integrate it into a simple Node.js API.
Redis+
[英文] Developer Hub
https://redis.io/dev/
Get all the tutorials, learning paths, and more you need to start building—fast.
https://www.runoob.com/redis/redis-tutorial.html
REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统,是跨平台的非关系型数据库。
https://www.youtube.com/watch?v=jgpVdJB2sKQ
In this video I will be covering Redis in depth from how to install it, what commands you can use, all the way to how to use it in a real world project.
消息队列+
https://www.youtube.com/watch?v=xErwDaOc-Gs
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
RabbitMQ+
[英文] RabbitMQ Tutorials
https://www.rabbitmq.com/tutorials
These tutorials cover the basics of creating messaging applications using RabbitMQ.
https://www.youtube.com/watch?v=bfVddTJNiAw
RabbitMQ is a powerful message broker that can help you create resilient and scalable applications.
AI agent+
https://www.ibm.com/think/ai-agents
Your one-stop resource for gaining in-depth knowledge and hands-on applications of AI agents.
Selenium+
https://www.youtube.com/watch?v=j7VZsCCnptM
Learn Selenium by building a web scraping bot in Python.
https://www.youtube.com/watch?v=mOAXEQevCAE&list=PLhW3qG5bs-L_s9HdC5zNshE5Ti8jABwlU
还有更多 •••
相关职位
社招数据开发岗
1.负责京东跨境电商数据BP工作,包括数据资产建设、数据应用建设、通过数据帮助业务增长; 2.完成业务的数据架构设计及实时离线数据开发工作; 3.通过中台Paas化工具,完成数据指标的建设和数据看板的建设; 4.基于业务和用户视角进行数据分析,输出分析结论; 5.打造跨境电商全主题域、全场景数据资产,全流程数智化建设方案。
更新于 2025-06-08北京
社招5-10年DATA
1、负责零售业务(门店零售、私域/会员、商城)数据仓库架构、技术选型、演进规划,设计和实施高效、稳定、可扩展的数据模型,负责核心代码逻辑开发与推进落地 2、建立和完善数据治理体系,包括数据质量、元数据管理、主数据管理和数据安全,制定并推行数据开发规范及标准、设计和优化大规模数据ETL/ELT流程,确保数据处理的高效性和可靠性。 3、负责数据报表系统需求管理和研发工作,深刻理解业务需求,并将其转化为可行的技术方案,确保数据准确性、稳定性、及时性 4、管理和优化数据存储与计算资源,在保证服务水准的前提下有效控制成本。 5、定期评估并引入前沿的数据技术和工具,持续优化技术栈
更新于 2025-11-13深圳
社招3年以上信息技术类
1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。
更新于 2025-04-16南京