小红书分布式存储研发工程师/专家-存储&数据库部
任职要求
-计算机相关专业本科及以上学历,1年以上大规模分布式存储或文件系统研发经验;精通 C/C++、Golang 或 Rust 中的一门或多门语言,精通AI Coding者优先 -具备扎实的操作系统、数据结构与算法基础;深入理解 Linux 内核 I/O 机制、文件系统底层原理及高并发控制,熟悉 RoCE / InfiniBand 等高性能网络栈,有 RDMA 编程或硬件卸载(Offload)实战经验者优先 -有丰富…
工作职责
-负责公司新一代统一分布式存储(对象+文件)的核心架构设计与研发。面向 EB 级海量数据,打造百Tbps 级超高带宽与微秒级极低延迟的高可用存储服务,全面支撑AGI、社交、推荐、搜索、电商、广告等核心业务场景 -深入剖析大模型训练与推理的 I/O 特征,攻克集群计算中的 I/O带宽和延迟瓶颈与百亿文件等难题,保障采集、清洗、训练、发布等全流程在统一存储上无缝运行,彻底打破“存储墙”,极致提升 GPU 算力利用率。 -紧跟下一代硬件架构趋势,结合 PCIe 5.0 高带宽特性与QLC、FDP等新型固态存储技术进行底层 I/O 栈重构;探索 CXL 内存/存储池化、DPU/SmartNIC 硬件卸载及 GPUDirect Storage 技术,实现极致的内核旁路(Bypass Kernel)与端到端零拷贝优化,不断突破单机与集群的性能极限。
建设面向公司核心业务和 AI 基础设施的新一代分布式缓存数据库系统。服务社交、推荐、搜索、电商、广告、AI 推理等高并发、低延迟场景。你将参与核心系统的架构设计、能力建设和性能优化,打造高可用、高可靠、高性能、高性价比的分布式数据底座。 你将负责: - 参与大规模分布式缓存数据库、分布式 KVCache 系统设计和研发。 - 建设高并发、低延迟、高可用的数据访问能力,以及多活容灾、故障恢复、弹性扩缩容、冷热分层、数据迁移、资源隔离等核心链路; - 围绕 AI 推理加速、建设分布式 KVCache; - 参与云原生、Serverless、多租户方向能力建设,提升系统在弹性伸缩、资源调度、租户隔离、容量治理、成本优化等方面的产品竞争力; - 参与 AI DevOps 相关需求开发,建设智能诊断、自动化巡检、故障定位、容量评估、性能调优等能力,提升数据库产品的智能化运维水平。
美团分布式存储方向,承载了全公司数据仓库和机器学习的全部离线数据,为业务提供了高可用、高可靠、超大规模的大数据存储底座、元数据存储、表格存储和消息存储服务,工作职责包括但不限于: 1. 持续提升大数据存储底座的性能、稳定性、可靠性,解决AI时代爆发的数据访问的性能和成本压力,为AI训练海量数据提供更好的元数据扩展性和数据性能 2. 持续优化成本,提升数据全生命周期管理能力,解决AI时代数据规模爆炸性增长的资源需求 3. 持续提升数据底座和元数据底座的可观测性、审计能力、安全能力以及周边工具链,增强在大数据和AI场景下的数据易用性和安全性

负责地平线数据存储服务的设计、开发、性能调优;设计和改进地平线数据传输组件;根据上层业务需求设计和改进数据存储服务模块;制定开发目标、撰写设计文档并负责模块实现、性能调优、功能测试;对接业务线提供技术支持并优化系统;持续优化存储底座功能;