快手爬虫开发工程师-【电商】
任职要求
1、具备逆向经验，了解Web/APP常见逆向分析技能，熟练使用IDA、Frida、Jeb和Jadx等常用工具对程序进行分析； 2、熟悉主流web爬虫对抗技术:js混淆加密/验证码等…
工作职责
1、参与海量数据的价值挖掘和工程体系攻防技术突破等能力建设，以强大技术驱动力让商家、消费者通过平台撮合交易； 2、负责快手直播电商促销活动海量商品建设，打造完备的数据运营支持体系，探索新场景下的新玩法，服务上亿用户； 3、研究直播电商场景下全新的用户消费习惯、全新的选品策略、全新的商业化思路，以及全新的大数据、人工智能、工程技术应用场景，探索新消费习惯场下隐含的全新技术挑战。
1.负责海外电商平台的数据爬取、清洗与结构化存储，支持价格监控、竞品分析、商品推荐等业务需求； 2.解决反爬机制（如验证码、IP封禁、动态加密等），确保数据抓取的稳定性与效率； 3.参与爬虫框架的选型与开发，维护现有爬虫系统，提升代码可扩展性和健壮性； 4.分析目标网站结构及数据接口，动态调整爬取策略，应对网站改版或反爬策略升级； 5.与数据团队协作，确保数据质量及实时性，提供自动化数据监控与报警机制。
1、负责海外电商用户增长系统的架构设计与开发，打造业界领先的用户增长技术体系，支持海外业务的快速发展；2、深刻的理解业务，抽象和设计合理的技术架构，保证架构的合理性和前瞻性，保障系统的高可用、高性能、高可扩展性；3、和算法、产品、运营等同学紧密合作，完成用户增长业务目标。
1、流量作弊识别与打击，负责识别和防御虚假流量（包括刷量、点击欺诈、爬虫等），构建流量护城河，保障业务数据真实有效。 利用海量设备数据、行为数据，建立高效的作弊检测与拦截系统。 2、算法设计与模型优化 基于传统机器学习、深度学习、图算法及无监督/半监督等方法，持续迭代反作弊模型。 结合业务场景优化模型的召回率、准确率和实时响应性能。 3、风控策略与系统建设 配合策略运营团队制定风控规则，搭建反作弊感知系统与智能决策平台。 推动设备风险画像建设，包括设备指纹采集、异常设备识别与黑产特征挖掘。 4、数据分析与风险挖掘 使用SQL、Python等工具进行海量数据分析，发现潜在作弊模式。 探索关联图谱等技术进行团伙识别与异常关系网络分析。 5、跨部门合作与技术探索 与产品、运营、策略、研发等团队紧密协作，共同推进风控体系升级。 跟踪行业最新反作弊技术趋势（如LLM、强化学习在风控中的应用），并导入到实际场景。
1.负责分布式网络爬虫系统的设计与开发工作。 2.对多平台数据源（WEB/APP/H5/小程序等）进行数据采集及分析。 3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。 4.设计数据采集策略，提升数据采集效率及质量。