logo of jd

京东电商数据开发工程师

社招全职3-5年数据开发岗地点:北京状态:招聘

任职要求


1.3-5年爬虫开发经验,熟悉电商平台数据抓取场景,有大规模(百万级/日)爬虫系统实战经验;
2.精通Python(Scrapy、Requests、BeautifulSoup等),熟悉异步框架(如aiohttp、Celery)、数据库(MySQL/MongoDB/Redis)及消息队列Kafka/RabbitMQ);
3.深入理解反爬技术(User-Agent轮换、代理IP池、Selenium/Puppeteer模拟等),…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1.负责海外电商平台的数据爬取、清洗与结构化存储,支持价格监控、竞品分析、商品推荐等业务需求;
2.解决反爬机制(如验证码、IP封禁、动态加密等),确保数据抓取的稳定性与效率;
3.参与爬虫框架的选型与开发,维护现有爬虫系统,提升代码可扩展性和健壮性;
4.分析目标网站结构及数据接口,动态调整爬取策略,应对网站改版或反爬策略升级;
5.与数据团队协作,确保数据质量及实时性,提供自动化数据监控与报警机制。
包括英文材料
Python+
MySQL+
MongoDB+
Redis+
消息队列+
Kafka+
RabbitMQ+
AI agent+
Selenium+
还有更多 •••
相关职位

logo of jd
社招数据开发岗

1.负责京东跨境电商数据BP工作,包括数据资产建设、数据应用建设、通过数据帮助业务增长; 2.完成业务的数据架构设计及实时离线数据开发工作; 3.通过中台Paas化工具,完成数据指标的建设和数据看板的建设; 4.基于业务和用户视角进行数据分析,输出分析结论; 5.打造跨境电商全主题域、全场景数据资产,全流程数智化建设方案。

更新于 2025-06-08北京
logo of oppo
社招5-10年DATA

1、负责零售业务(门店零售、私域/会员、商城)数据仓库架构、技术选型、演进规划,设计和实施高效、稳定、可扩展的数据模型,负责核心代码逻辑开发与推进落地 2、建立和完善数据治理体系,包括数据质量、元数据管理、主数据管理和数据安全,制定并推行数据开发规范及标准、设计和优化大规模数据ETL/ELT流程,确保数据处理的高效性和可靠性。 3、负责数据报表系统需求管理和研发工作,深刻理解业务需求,并将其转化为可行的技术方案,确保数据准确性、稳定性、及时性 4、管理和优化数据存储与计算资源,在保证服务水准的前提下有效控制成本。 5、定期评估并引入前沿的数据技术和工具,持续优化技术栈

更新于 2025-11-13深圳
logo of shein
社招3年以上信息技术类

1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。

更新于 2025-04-16南京
logo of alibaba
社招3年以上

1..负责淘宝商品库基础数据相关的实时、离线数据仓库设计、开发、性能优化 以及 相关业务指标的开发;参与淘宝商品基础数据架构、技术体系、数据模型的规划建设,包括数据采集、数据治理、数据质量及稳定性保障体系、数据处理智能化和自动化体系的建设; 2.负责商品、用户等维度数据的挖掘和数据资产沉淀,为业务的交互式即席分析、AB实验效果分析提供统一、可靠、高效的实时+离线的数据服务和丰富的维度下钻支持。 3.能够针对业务场景探索提供大数据解决方案,并实现数据产品化。

更新于 2025-08-20杭州