哈啰Python爬虫逆向工程师
任职要求
1. 精通 Python，具备扎实的编程功底和良好的代码规范； 2. 2 年及以上 APP 接口分析、数据采集开发经验，熟练使用 Frida、Xposed、JEB 等工具； 3. 熟悉 HTTPS、protobuf、WebSocket 等主流网络协议解析与抓包技术； 4. 熟悉验证码、…
工作职责
工作职责： 1. 负责数据采集需求分析与方案制定，基于授权场景完成 APP 接口分析与数据采集开发； 2. 运用抓包、协议解析、动态调试等技术，完成合法授权场景下的接口协议分析与数据采集实现； 3. 设计并优化标准化账号管理体系，遵循平台用户协议，实现账号合规使用与状态管理； 4. 研究主流平台安全防护机制（验证码、设备安全校验、行为验证等），基于合规场景制定兼容适配方案，保障正常业务访问； 5. 与数据开发团队协作，持续优化公开数据采集的稳定性、效率与合规性； 6. 跟踪行业数据安全与反自动化技术规范，迭代优化合规的数据采集方案。
1. 结合大模型应用需求，设计和优化高效、智能化的爬虫系统，进行多源数据采集。 2. 逆向分析目标网站及接口，绕过反爬机制，如验证码、动态加载、JS加密、IP封锁等，确保数据采集稳定性。 3. 针对大模型数据预处理要求，优化爬虫数据格式和质量，提升爬取的数据对训练和推理的适用性。 4. 结合大模型场景，自动化处理反爬机制变化，并提供灵活的技术解决方案。 5. 与大模型研发团队紧密合作，确保爬虫采集的数据能够有效支持模型训练与应用。 6. 跟进最新的反爬技术与反制策略，持续优化爬虫架构和性能。
负责核心业务模块的设计与开发，基于Java技术栈构建高可用、高性能的后端服务，保障系统稳定运行与高效迭代。 参与海外业务相关功能开发，适配海外多地区网络环境、数据合规要求，解决跨区域业务中的技术难点。 设计并实现网络爬虫系统，完成目标数据的精准抓取、清洗与结构化存储，同时优化爬虫效率与稳定性，规避反爬机制。 开展逆向工程相关工作，对目标应用、接口进行技术分析，提取关键数据或逻辑，为业务功能开发与优化提供技术支撑。 结合Python技术栈完成爬虫、数据处理、自动化脚本开发等工作。 参与技术方案评审、代码审查，推动团队编码规范落地，分享技术经验，助力团队成员技术成长。
1、主导PC游戏的逆向分析： - 拆解游戏客户端协议、存档格式、通信机制； -通过汇编级调试（x86/x64），还原游戏核心功能模块的C/C++实现逻辑； 2、构建游戏数据获取方案： - 设计高稳定爬虫系统，处理动态加载、签名验证、IP封禁等问题； - 优化采集链路，支持百万级游戏数据更新。
-优化大规模分布式爬虫系统，支持海量移动端数据抓取 -研究并优化爬虫调度策略，提高抓取效率、成功率及内容覆盖率 -处理反爬机制，优化 UA、IP 池、动态调度等策略，提升抓取稳定性 -监控和优化爬虫集群性能，优化异常检测、爬取策略调优等机制 -研究 Android 端抓取技术，包括但不限于群控、HOOK、代码注入、动态调试等手段，提高数据获取能力 -与搜索、推荐、算法等团队协作，优化内容收录与数据利用策略