logo of jd

京东电商数据开发工程师

社招全职3-5年数据开发岗地点:北京状态:招聘

任职要求


1.3-5年爬虫开发经验,熟悉电商平台数据抓取场景,有大规模(百万级/日)爬虫系统实战经验;
2.精通Python(Scrapy、Requests、BeautifulSoup等),熟悉异步框架(如aiohttp、Celery)、数据库(MySQL/MongoDB/Redis)及消息队列Kafka/RabbitMQ);
3.深入理解反爬技术(User-Agent轮换、代理IP池、Selenium/Puppeteer模拟等),…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1.负责海外电商平台的数据爬取、清洗与结构化存储,支持价格监控、竞品分析、商品推荐等业务需求;
2.解决反爬机制(如验证码、IP封禁、动态加密等),确保数据抓取的稳定性与效率;
3.参与爬虫框架的选型与开发,维护现有爬虫系统,提升代码可扩展性和健壮性;
4.分析目标网站结构及数据接口,动态调整爬取策略,应对网站改版或反爬策略升级;
5.与数据团队协作,确保数据质量及实时性,提供自动化数据监控与报警机制。
包括英文材料
Python+
MySQL+
MongoDB+
Redis+
消息队列+
Kafka+
RabbitMQ+
AI agent+
Selenium+
还有更多 •••
相关职位

logo of jd
社招数据开发岗

1.负责京东跨境电商数据BP工作,包括数据资产建设、数据应用建设、通过数据帮助业务增长; 2.完成业务的数据架构设计及实时离线数据开发工作; 3.通过中台Paas化工具,完成数据指标的建设和数据看板的建设; 4.基于业务和用户视角进行数据分析,输出分析结论; 5.打造跨境电商全主题域、全场景数据资产,全流程数智化建设方案。

更新于 2025-06-08北京
logo of pinduoduo
社招技术类

1.负责电商业务的仓配相关基础数据的建设,包括数据埋点的设置,数据仓库的建立和维护,报表的开发,业务系统的数据开发等; 2.负责保证数据的正确性和丰富性; 3.负责开发离线数据,推动全链路的线上化和数字化。

更新于 2026-04-20上海
logo of oppo
社招5-10年DATA

1、负责零售业务(门店零售、私域/会员、商城)数据仓库架构、技术选型、演进规划,设计和实施高效、稳定、可扩展的数据模型,负责核心代码逻辑开发与推进落地 2、建立和完善数据治理体系,包括数据质量、元数据管理、主数据管理和数据安全,制定并推行数据开发规范及标准、设计和优化大规模数据ETL/ELT流程,确保数据处理的高效性和可靠性。 3、负责数据报表系统需求管理和研发工作,深刻理解业务需求,并将其转化为可行的技术方案,确保数据准确性、稳定性、及时性 4、管理和优化数据存储与计算资源,在保证服务水准的前提下有效控制成本。 5、定期评估并引入前沿的数据技术和工具,持续优化技术栈

更新于 2026-02-03深圳
logo of shein
社招3年以上信息技术类

1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。

更新于 2026-04-08南京