米哈游爬虫算法工程师

社招全职程序&技术类地点：上海状态：招聘

扫码手机上打开

任职要求

1、计算机相关专业，具备扎实的数据分析、数据建模、数据结构、算法与网络基础，熟练掌握Java/C++/Python/golang任意一种编程语言，有大规模策略系统研发落地经验。
2、拥有亿URL池调度、链接筛选、URL归一化全链路实战经验，熟悉分布式爬虫海量链接去重、排序、调度、淘汰完整流程。
3、精通URL标准化、等价链接收敛、参数清洗技术，具备超大流量链接降噪、重复抓…

登录查看完整任职要求

微信扫码，1秒登录

工作职责

1、负责亿级URL池智能调度体系的设计、优化与落地，搭建多因子优先级调度、增量更新、并发流量管控策略，在有限资源下最大化高质量页面抓取效率与数据吞吐。
2、负责抓取策略的设计与研发，包括链接筛选算法的开发，网页质量排名算法，通过历史数据动态更新网页的排名策略，实现高价值资源优先调度、低质链接自动降权淘汰。
3、负责URL归一化体系建设，落地域名路径规整、无效参数清洗、等价URL去重收敛能力，解决超大量级链接场景下的重复抓取、数据污染、调度冗余等核心问题，
4、结合业务目标，制定差异化调度、限速、重试策略，提升抓取成功率

📮 投递简历 ✨AI模拟面试

难度：

包括英文材料

数据分析+

数据结构+

算法+

还有更多 •••

登录查看完整学习资料

相关职位

爬虫浏览器内核工程师

社招程序&技术类

1、负责亿级日量级分布式爬虫系统底层架构研发与迭代优化，聚焦大模型训练场景下全网公开数据抓取需求，主导Web引擎核心模块研发、定制化改造与深度性能调优，支撑爬虫业务稳定高效运行。 2、深耕Chromium浏览器内核底层原理，负责浏览器内核二次开发、定制化重构与性能优化工作，攻克DOM解析、动态渲染、JS引擎执行、网络请求调度、内存管理、多线程渲染等底层技术难题，提升爬虫工具的兼容性、稳定性与抓取效率。 3、主导浏览器内核攻防与爬虫业务基础设施及体系建设，持续提升爬虫任务整体抓取成功率。 4、搭建全链路爬虫数据埋点与性能监控体系，对浏览器内核渲染性能、资源消耗、请求成功率、风控拦截率等核心指标进行常态化监控、数据分析与问题复盘，输出可落地的内核优化、攻防迭代、架构升级方案，持续降低系统损耗、提升爬取稳定性。

上海

爬虫工程师(MJ030664)

社招2年以上住宿业务开发

1.负责分布式网络爬虫系统的设计与开发工作。2.对多平台数据源（WEB/APP/H5/小程序等）进行数据采集及分析。3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。4.设计数据采集策略，提升数据采集效率及质量。

更新于 2025-10-21上海

爬虫工程师

社招1年以上

1、从事网页数据采集的技术工作 2、负责设计爬虫策略及反爬突破，提升数据采集效率、完整度和稳定性； 3、爬虫系统以及相关工具设计与研发

更新于 2025-11-10北京

爬虫安全工程师（27届）

校招安全与治理中心

1.负责多渠道公开数据的合规采集、清洗、校验与存储，搭建规范的数据采集流程，保障数据的准确性、完整性和时效性 2.持续优化爬虫程序的稳定性、效率和抗反爬能力 3.配合团队完成爬虫系统的开发、迭代与维护，完成跨团队协作任务，支撑业务数据需求 4.探索AI技术在爬虫项目中的应用场景，参与相关技术调研与落地实践

更新于 2026-07-09北京