小红书对象存储协议层研发-存储&数据库
任职要求
【任职资格】 1、1年以上系统软件,如操作系统,存储系统,数据库系统,分布式系统等大规模系统软件开发经验; 2、精通C/C++/golang等一门或多门语言; 3、…
工作职责
【业务介绍】 小红书对象存储提供高可靠、低成本、高性能的EB级别的云存储服务,支撑社交、推荐、搜索、电商、广告等核心业务场景。 1、负责小红书对象存储统一网关的设计、开发、测试和发布; 2、负责社交、推荐、搜索、电商、广告等核心业务的接入和支撑; 3、负责对象存储产品的服务质量,保障可用性、可靠性达标,持续降低存储成本;
岗位目标: 深度参与下一代超大规模分布式存储系统的架构设计与实现。利用 Kernel Bypass、软硬协同 及自研存储引擎等尖端技术,解决千亿级元数据挑战,构建微秒级低延迟、高吞吐的存储内核,支撑大模型训练及高性能计算场景。 核心职责: 1. 存储内核与引擎开发:负责 Blob 存储内核、持久化引擎及高性能元数据服务的设计与开发;针对 SSD/HDD 特性优化存储格式,实现小文件聚合、EC 编码及高效压缩。 2. 软硬协同与性能加速:利用 RDMA、SPDK、DPDK 等技术栈重构存储 I/O 链路,实现全链路零拷贝(Zero-copy)与微秒级端到端延迟。 3. 全栈性能调优:针对 AI 训练等高并发场景,进行 CPU 亲和性、NUMA 架构、网卡 Offload 及存储协议栈的深度调优,消除系统瓶颈。 4. 前沿技术落地:探索并落地高性能用户态文件系统、NVMe-oF 及计算存储一体化方案,确保存储系统在吞吐量与存储密度上的持续领先。
【业务介绍】 小红书对象存储为业务提供高可靠、低成本、高性能的EB级别的云存储服务。 对象存储团队负责对象存储的索引服务系统研发以及服务层,包括设计并实现高性能、低延迟、低IO放大的对象存储系统。 1、负责小红书对象存储万亿级别业务的架构设计、研发,提供高稳定性、高可靠性的分布式存储服务; 2、负责核心功能的研发,包括设计、开发、测试和发布; 3、负责对象存储产品的上线、稳定性、可靠性。
1、大规模存储系统的自动化迁移系统的开发、测试、运维工作,完成 OSS 服务层项目子任务/子模块的设计、开发、测试、上线工作; 2、大规模存储系统自动化迁移调度系统的开发、测试、运维工作,快速高效实现自动化调度 ,包含开发、测试、上线等工作项; 3、大规模数据分析系统的数据开发工作,完成数据采集、清理等工作,通过机器学习、大模型等技术对线上问题进行自动化分析、给出解决方案; 4、应对复杂项目的涉及的沟通、协调能力,能够支撑大型项目任务跟踪管理和风险把控。