快手大数据存储研发工程师/专家(HDFS)
任职要求
1、本科及以上学历,计算机相关专业,存储领域 3 年以上工作经验; 2、熟练掌握 Java,具备优秀的工程能力,对代码质量有极高要求; 3、熟悉 HDFS、Ceph、S3 等主流分布式存储系统,有实际调优或二次开发经验; 4、有强烈的责任心与进取心,具备较好的学习能力和沟通能力,能够快速的响应和行动; 5、逻…
工作职责
7 亿快手用户每天都在生产百 PB 级的数据,涵盖短视频、直播、用户画像、AI 训练样本等高价值数字资产。作为快手存储团队的核心成员,你将参与构建下一代 EB 级大数据存储系统,以极致性价比保障数据稳固,支撑离线计算、实时计算、数据湖、AI 训练等关键业务场景。 1、负责下一代 EB 级大数据存储的设计与研发,面向海量数据,提供高可用、高可靠、高吞吐、低成本的存储解决方案; 2、深入探索存储引擎、元数据管理、冷热数据分层等核心技术,持续提升稳定性、扩展性以及成本效率; 3、结合 NVMe、QLC SSD、RDMA 等前沿硬件技术,推动高性能存储架构在快手的落地。
1、负责快手自研 EB 级对象存储的研发工作,为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务; 2、负责对象存储核心模块与技术难题的重点攻关,包括海量元数据的管理、存储分层、功能与体验上的持续改进等; 3、吸收业界的新理论和成果,结合最新的软/硬件技术(如 GPU Direct Storage、Burst Buffer 等),灵活运用至业务实现降本增效。
1、负责快手自研 EB 级对象存储的研发工作,为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务; 2、负责对象存储核心模块与技术难题的重点攻关,包括海量元数据的管理、存储分层、功能与体验上的持续改进等; 3、吸收业界的新理论和成果,结合最新的软/硬件技术(如 GPU Direct Storage、Burst Buffer 等),灵活运用至业务实现降本增效。
1、负责快手自研 EB 级对象存储的研发工作,为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务; 2、负责对象存储核心模块与技术难题的重点攻关,包括海量元数据的管理、存储分层、功能与体验上的持续改进等; 3、吸收业界的新理论和成果,结合最新的软/硬件技术(如 GPU Direct Storage、Burst Buffer 等),灵活运用至业务实现降本增效。
-负责公司新一代统一分布式存储(对象+文件)的核心架构设计与研发。面向 EB 级海量数据,打造百Tbps 级超高带宽与微秒级极低延迟的高可用存储服务,全面支撑AGI、社交、推荐、搜索、电商、广告等核心业务场景 -深入剖析大模型训练与推理的 I/O 特征,攻克集群计算中的 I/O带宽和延迟瓶颈与百亿文件等难题,保障采集、清洗、训练、发布等全流程在统一存储上无缝运行,彻底打破“存储墙”,极致提升 GPU 算力利用率。 -紧跟下一代硬件架构趋势,结合 PCIe 5.0 高带宽特性与QLC、FDP等新型固态存储技术进行底层 I/O 栈重构;探索 CXL 内存/存储池化、DPU/SmartNIC 硬件卸载及 GPUDirect Storage 技术,实现极致的内核旁路(Bypass Kernel)与端到端零拷贝优化,不断突破单机与集群的性能极限。