京东电商数据开发工程师

任职要求

1.3-5年爬虫开发经验，熟悉电商平台数据抓取场景，有大规模（百万级/日）爬虫系统实战经验；
2.精通Python（Scrapy、Requests、BeautifulSoup等），熟悉异步框架（如aiohttp、Celery）、数据库（MySQL/MongoDB/Redis）及消息队列（Kafka/RabbitMQ）；
3.深入理解反爬技术（User-Agent轮换、代理IP池、Selenium/Puppeteer模拟等），能独立突破常见反爬限制；
4.熟悉分布式爬虫（Scrapy-Redis、Splash）、数据去重及增量抓取方案，具备性能调优经验；
5.了解HTTP/HTTPS协议、Web安全机制（如Token加密、OAuth），能逆向分析Ajax接口及动态渲染页面；
6.加分项：有机器学习辅助解析（OCR识别、NLP处理商品描述）经验；熟悉Kubernetes/Docker部署。

符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。

工作职责

1.负责海外电商平台的数据爬取、清洗与结构化存储，支持价格监控、竞品分析、商品推荐等业务需求；
2.解决反爬机制（如验证码、IP封禁、动态加密等），确保数据抓取的稳定性与效率；
3.参与爬虫框架的选型与开发，维护现有爬虫系统，提升代码可扩展性和健壮性；
4.分析目标网站结构及数据接口，动态调整爬取策略，应对网站改版或反爬策略升级；
5.与数据团队协作，确保数据质量及实时性，提供自动化数据监控与报警机制。