logo of mihoyo

米哈游爬虫浏览器内核工程师

社招全职程序&技术类地点:上海状态:招聘

任职要求


1、具备成熟的Chromium浏览器内核二次开发、内核定制、内核性能优化实战经验,深入理解Web引擎完整工作原理,精通网页渲染流程、JS执行机制、浏览器网络请求架构、DOM/BOM底层逻辑,熟悉浏览器内核源码调试与问题攻坚。
2、具备丰富的浏览器内核攻防实战经验,深入掌握全网主流风控机制。
3、拥有日均亿级大规模爬虫系统研发与落地经验…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1、负责亿级日量级分布式爬虫系统底层架构研发与迭代优化,聚焦大模型训练场景下全网公开数据抓取需求,主导Web引擎核心模块研发、定制化改造与深度性能调优,支撑爬虫业务稳定高效运行。
2、深耕Chromium浏览器内核底层原理,负责浏览器内核二次开发、定制化重构与性能优化工作,攻克DOM解析、动态渲染、JS引擎执行、网络请求调度、内存管理、多线程渲染等底层技术难题,提升爬虫工具的兼容性、稳定性与抓取效率。
3、主导浏览器内核攻防与爬虫业务基础设施及体系建设,持续提升爬虫任务整体抓取成功率。
4、搭建全链路爬虫数据埋点与性能监控体系,对浏览器内核渲染性能、资源消耗、请求成功率、风控拦截率等核心指标进行常态化监控、数据分析与问题复盘,输出可落地的内核优化、攻防迭代、架构升级方案,持续降低系统损耗、提升爬取稳定性。
包括英文材料
Chromium+
内核+
Web+
JavaScript+
还有更多 •••
相关职位

logo of mihoyo
社招程序&技术类

1、负责亿级URL池智能调度体系的设计、优化与落地,搭建多因子优先级调度、增量更新、并发流量管控策略,在有限资源下最大化高质量页面抓取效率与数据吞吐。 2、负责抓取策略的设计与研发,包括链接筛选算法的开发,网页质量排名算法,通过历史数据动态更新网页的排名策略,实现高价值资源优先调度、低质链接自动降权淘汰。 3、负责URL归一化体系建设,落地域名路径规整、无效参数清洗、等价URL去重收敛能力,解决超大量级链接场景下的重复抓取、数据污染、调度冗余等核心问题, 4、结合业务目标,制定差异化调度、限速、重试策略,提升抓取成功率

上海
logo of ctrip
社招2年以上住宿业务开发

1.负责分布式网络爬虫系统的设计与开发工作。2.对多平台数据源(WEB/APP/H5/小程序等)进行数据采集及分析。3.通过逆向、图像识别、行为分析等技术提升爬虫核心技术突破。4.设计数据采集策略,提升数据采集效率及质量。

更新于 2025-10-21上海
logo of zhihu
社招1年以上

1、从事网页数据采集的技术工作 2、负责设计爬虫策略及反爬突破,提升数据采集效率、完整度和稳定性; 3、爬虫系统以及相关工具设计与研发

更新于 2025-11-10北京
logo of zhihu
校招安全与治理中心

1.负责多渠道公开数据的合规采集、清洗、校验与存储,搭建规范的数据采集流程,保障数据的准确性、完整性和时效性 2.持续优化爬虫程序的稳定性、效率和抗反爬能力 3.配合团队完成爬虫系统的开发、迭代与维护,完成跨团队协作任务,支撑业务数据需求 4.探索AI技术在爬虫项目中的应用场景,参与相关技术调研与落地实践

更新于 2026-07-09北京