哈啰Python爬虫逆向工程师
任职要求
1. 精通Python，具备扎实的编程功底和良好的代码规范； 2. 至少2年以上APP逆向分析经验，熟练掌握Frida、Xposed、JEB、IDA等工具的使用； 3. 熟悉主流APP抓包与通信协议解析（HTTPS、protobuf、WebSocket等）； 4. 熟…
工作职责
1. 负责目标APP的数据采集需求分析与方案制定，独立完成APP端数据的逆向分析与接口还原； 2. 通过Hook、抓包、动态调试等手段，实现对加密协议、签名算法、接口请求的还原； 3. 设计并优化大规模账号池管理系统，支持多账号的稳定登录与使用，规避封号机制； 4. 对主流风控机制（滑块验证码、设备指纹、行为识别等）进行深入研究，设计有效破解绕过方案； 5. 与爬虫策略团队协作，持续优化数据采集的稳定性与效率； 6. 关注行业内新型反爬虫/反自动化策略，及时响应并更新对抗方案。
1. 结合大模型应用需求，设计和优化高效、智能化的爬虫系统，进行多源数据采集。 2. 逆向分析目标网站及接口，绕过反爬机制，如验证码、动态加载、JS加密、IP封锁等，确保数据采集稳定性。 3. 针对大模型数据预处理要求，优化爬虫数据格式和质量，提升爬取的数据对训练和推理的适用性。 4. 结合大模型场景，自动化处理反爬机制变化，并提供灵活的技术解决方案。 5. 与大模型研发团队紧密合作，确保爬虫采集的数据能够有效支持模型训练与应用。 6. 跟进最新的反爬技术与反制策略，持续优化爬虫架构和性能。
负责核心业务模块的设计与开发，基于Java技术栈构建高可用、高性能的后端服务，保障系统稳定运行与高效迭代。 参与海外业务相关功能开发，适配海外多地区网络环境、数据合规要求，解决跨区域业务中的技术难点。 设计并实现网络爬虫系统，完成目标数据的精准抓取、清洗与结构化存储，同时优化爬虫效率与稳定性，规避反爬机制。 开展逆向工程相关工作，对目标应用、接口进行技术分析，提取关键数据或逻辑，为业务功能开发与优化提供技术支撑。 结合Python技术栈完成爬虫、数据处理、自动化脚本开发等工作。 参与技术方案评审、代码审查，推动团队编码规范落地，分享技术经验，助力团队成员技术成长。
1、主导PC游戏的逆向分析： - 拆解游戏客户端协议、存档格式、通信机制； -通过汇编级调试（x86/x64），还原游戏核心功能模块的C/C++实现逻辑； 2、构建游戏数据获取方案： - 设计高稳定爬虫系统，处理动态加载、签名验证、IP封禁等问题； - 优化采集链路，支持百万级游戏数据更新。
-优化大规模分布式爬虫系统，支持海量移动端数据抓取 -研究并优化爬虫调度策略，提高抓取效率、成功率及内容覆盖率 -处理反爬机制，优化 UA、IP 池、动态调度等策略，提升抓取稳定性 -监控和优化爬虫集群性能，优化异常检测、爬取策略调优等机制 -研究 Android 端抓取技术，包括但不限于群控、HOOK、代码注入、动态调试等手段，提高数据获取能力 -与搜索、推荐、算法等团队协作，优化内容收录与数据利用策略