logo of antgroup

蚂蚁金服蚂蚁集团-网络爬虫Java技术专家/架构师-杭州

社招全职5年以上技术-开发地点:杭州状态:招聘

任职要求


1、精通Java编程,5年以上经验,精通主流Java框架开发;
2、熟悉分布式架构和并发编程,熟悉业界主流计算存储引擎,具有大数据量应用开发经验;
3、具备搜索引擎或者网络爬虫等大型互联网公司相关平台架构设计经验;
4、熟悉网络协议、网络代理、浏览器引擎和移动端技术。

工作职责


1、负责互联网数据采集相关系统架构设计和开发工作,持续提升平台能力水位,充分支持全网搜索等业务;
2、主导技术难点攻关和技术创新,持续提升系统在全网调度、海量数据、高并发下的处理性能,解决系统潜在技术风险;
3、提升团队技术氛围和影响力,针对开发人员进行有效辅导,助力团队技术成长。
包括英文材料
Java+
系统设计+
相关职位

logo of aliyun
社招5年以上技术类-前端

1、研究并实现高并发、分布式的网络爬虫系统,支持大规模数据采集需求 2、逆向Android/ios app、sdk、web和小程序,脱壳、反编译、抓包、拦截、加解密破解和数据传输分析等 3、开发数据清洗、存储及自动化处理流程,对接数据库或大数据平台(如MySQL、MongoDB、Hadoop、OSS、ODPS、Redis等) 4、优化爬虫性能,提升数据抓取效率与成功率,降低资源消耗 5、与数据、产品各方协作,支持智能营销业务场景(如营销日历、营销策略、营销内容生成等)落地

更新于 2025-06-20
logo of quark
社招1年以上技术类-开发

1. 参与搜索业务的离线系统与策略的研发 2. 参与大规模网页数据的采集、分析、存储及平台化建设 3. 对夸克搜索海量的网页数据进行处理和挖掘 4. 参与离线系统的性能和稳定性优化

更新于 2025-10-11
logo of meituan
社招核心本地商业-基

1.主导并参与公司业务反爬能力建设体系 2.深度掌握系统现状,识别在可用性、性能等方面存在的风险并优雅解决 2.负责业务线需求支撑,按期高质量完成业务需求的研发工作,保障产品能力的持续演进 3.主动发掘业务痛点,协同上下游团队,推动痛点解决,提升服务水位 4.负责技术难点调研和攻关,解决系统中关键的设计、技术、流程优化等问题 5.结合自身业务特点,推动新技术的探索、设计、落地

更新于 2025-05-08
logo of ctrip
社招2年以上住宿业务开发

1.负责分布式网络爬虫系统的设计与开发工作。2.对多平台数据源(WEB/APP/H5/小程序等)进行数据采集及分析。3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。4.设计数据采集策略,提升数据采集效率及质量。

更新于 2025-03-21