快手爬虫开发工程师-【电商】
任职要求
1、具备逆向经验，了解Web/APP常见逆向分析技能，熟练使用IDA、Frida、Jeb和Jadx等常用工具对程序进行分析； 2、熟悉主流web爬虫对抗技术:js混淆加密/验证码等…
工作职责
1、参与海量数据的价值挖掘和工程体系攻防技术突破等能力建设，以强大技术驱动力让商家、消费者通过平台撮合交易； 2、负责快手直播电商促销活动海量商品建设，打造完备的数据运营支持体系，探索新场景下的新玩法，服务上亿用户； 3、研究直播电商场景下全新的用户消费习惯、全新的选品策略、全新的商业化思路，以及全新的大数据、人工智能、工程技术应用场景，探索新消费习惯场下隐含的全新技术挑战。
1.负责海外电商平台的数据爬取、清洗与结构化存储，支持价格监控、竞品分析、商品推荐等业务需求； 2.解决反爬机制（如验证码、IP封禁、动态加密等），确保数据抓取的稳定性与效率； 3.参与爬虫框架的选型与开发，维护现有爬虫系统，提升代码可扩展性和健壮性； 4.分析目标网站结构及数据接口，动态调整爬取策略，应对网站改版或反爬策略升级； 5.与数据团队协作，确保数据质量及实时性，提供自动化数据监控与报警机制。
部门介绍：我们是市场与平台运营中心，作为京东科技的核心力量之一，在金融业务的市场拓展、平台运营与生态建设中发挥关键作用。我们以“体验与效率的价值共生”为核心理念，聚焦C端用户，推动产品体验与技术能力的深度融合，实现商业价值与用户体验的共赢。我们通过数据驱动决策、营销创新实践与平台精细化运营，持续优化关键金融场景（如现金贷、财富管理、大支付、保险等）的用户体验；依托京东金融APP、白条频道页、我的钱包页等核心入口，我们构建起连接用户与金融服务的高效桥梁。我们汇聚产品、运营、量化、研发等多职能人才，以协同创新为引擎，推动业务的可持续增长与长期价值创造。我们不仅追求短期目标的达成，更致力于构建一个用户信赖、商业健康、技术领先的金融科技生态。 1、负责各类网站、APP、接口的数据爬虫开发、部署与维护，根据业务需求精准抓取目标数据（如文本、图片、视频、结构化数据等），确保爬虫稳定性、高效性和合规性； 2、针对反爬机制（如IP封锁、验证码、UA验证等），设计并实现对应的突破方案，优化爬虫策略，提升数据抓取成功率和效率； 3、监控爬虫运行状态，及时排查并解决爬虫运行中的异常问题（如爬取失败、数据缺失等），建立爬虫运行日志和异常预警机制； 4、调研行业最新爬虫技术、反爬手段及合规要求，结合业务场景优化爬虫架构，提升爬虫系统的可扩展性和可维护性； 5、遵守网络爬虫相关法律法规及目标网站robots协议，确保爬虫行为合法合规。
1. 负责分布式爬虫系统开发、落地与迭代，保证数据采集稳定高效、全面及时 2. 优化爬虫策略、反爬对抗、调度机制、代理IP，提升抓取成功率与实时性 3. 监控爬虫运行、处理异常预警，维护系统稳定性与效率 4. 完成多平台数据爬取、内容解析、数据清洗与存储，优化数据平台 5. 参与爬虫核心算法、自动化平台设计与持续迭代
1、负责海外电商用户增长系统的架构设计与开发，打造业界领先的用户增长技术体系，支持海外业务的快速发展；2、深刻的理解业务，抽象和设计合理的技术架构，保证架构的合理性和前瞻性，保障系统的高可用、高性能、高可扩展性；3、和算法、产品、运营等同学紧密合作，完成用户增长业务目标。