知乎爬虫逆向工程师

1. 结合大模型应用需求，设计和优化高效、智能化的爬虫系统，进行多源数据采集。 2. 逆向分析目标网站及接口，绕过反爬机制，如验证码、动态加载、JS加密、IP封锁等，确保数据采集稳定性。 3. 针对大模型数据预处理要求，优化爬虫数据格式和质量，提升爬取的数据对训练和推理的适用性。 4. 结合大模型场景，自动化处理反爬机制变化，并提供灵活的技术解决方案。 5. 与大模型研发团队紧密合作，确保爬虫采集的数据能够有效支持模型训练与应用。 6. 跟进最新的反爬技术与反制策略，持续优化爬虫架构和性能。

1. 负责公司APP/小程序安全产品（安全签名、设备指纹等）的设计和研发工作，包括但不限于算法设计、代码混淆、设备指纹等功能，确保流量可追踪、可分析。 2.负责APP/小程序/H5安全体系建设，在保护用户使用体验的基础上识别爬虫、黑产攻击；针对协议及异常设备攻击case分析，识别攻击特征并转化为端侧安全能力

1、负责移动端（Android/iOS）游戏和应用的逆向分析，信息提取与整合。 2、分析安卓模拟器产品各种安全问题（例如数据加解密算法和数据传输协议等）； 3、根据产品需求完成软件功能实现；

-优化大规模分布式爬虫系统，支持海量移动端数据抓取 -研究并优化爬虫调度策略，提高抓取效率、成功率及内容覆盖率 -处理反爬机制，优化 UA、IP 池、动态调度等策略，提升抓取稳定性 -监控和优化爬虫集群性能，优化异常检测、爬取策略调优等机制 -研究 Android 端抓取技术，包括但不限于群控、HOOK、代码注入、动态调试等手段，提高数据获取能力 -与搜索、推荐、算法等团队协作，优化内容收录与数据利用策略