蚂蚁金服蚂蚁集团-网络爬虫Java技术专家/架构师-杭州
任职要求
1、精通Java编程，5年以上经验，精通主流Java框架开发； 2、熟悉分布式架构和并发编程，熟悉业界主流计算存储引擎，具有大数据量应…
工作职责
1、负责互联网数据采集相关系统架构设计和开发工作，持续提升平台能力水位，充分支持全网搜索等业务； 2、主导技术难点攻关和技术创新，持续提升系统在全网调度、海量数据、高并发下的处理性能，解决系统潜在技术风险； 3、提升团队技术氛围和影响力，针对开发人员进行有效辅导，助力团队技术成长。
1、研究并实现高并发、分布式的网络爬虫系统，支持大规模数据采集需求 2、逆向Android/ios app、sdk、web和小程序，脱壳、反编译、抓包、拦截、加解密破解和数据传输分析等 3、开发数据清洗、存储及自动化处理流程，对接数据库或大数据平台（如MySQL、MongoDB、Hadoop、OSS、ODPS、Redis等） 4、优化爬虫性能，提升数据抓取效率与成功率，降低资源消耗 5、与数据、产品各方协作，支持智能营销业务场景（如营销日历、营销策略、营销内容生成等）落地
1. 参与搜索业务的离线系统与策略的研发 2. 参与大规模网页数据的采集、分析、存储及平台化建设 3. 对夸克搜索海量的网页数据进行处理和挖掘 4. 参与离线系统的性能和稳定性优化
负责核心业务模块的设计与开发，基于Java技术栈构建高可用、高性能的后端服务，保障系统稳定运行与高效迭代。 参与海外业务相关功能开发，适配海外多地区网络环境、数据合规要求，解决跨区域业务中的技术难点。 设计并实现网络爬虫系统，完成目标数据的精准抓取、清洗与结构化存储，同时优化爬虫效率与稳定性，规避反爬机制。 开展逆向工程相关工作，对目标应用、接口进行技术分析，提取关键数据或逻辑，为业务功能开发与优化提供技术支撑。 结合Python技术栈完成爬虫、数据处理、自动化脚本开发等工作。 参与技术方案评审、代码审查，推动团队编码规范落地，分享技术经验，助力团队成员技术成长。
1.主导并参与公司业务反爬能力建设体系 2.深度掌握系统现状，识别在可用性、性能等方面存在的风险并优雅解决 2.负责业务线需求支撑，按期高质量完成业务需求的研发工作，保障产品能力的持续演进 3.主动发掘业务痛点，协同上下游团队，推动痛点解决，提升服务水位 4.负责技术难点调研和攻关，解决系统中关键的设计、技术、流程优化等问题 5.结合自身业务特点，推动新技术的探索、设计、落地