快手大数据存储研发工程师/专家（HDFS）
社招全职3-5年D8027地点：北京状态：招聘
任职要求
1、本科及以上学历，计算机相关专业，存储领域 3 年以上工作经验； 2、熟练掌握 Java，具备优秀的工程能力，对代码质量有极高要求； 3、熟悉 HDFS、Ceph、S3 等主流分布式存储系统，有实际调优或二次开发经验； 4、有强烈的责任心与进取心，具备较好的学习能力和沟通能力，能够快速的响应和行动； 5、逻…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
7 亿快手用户每天都在生产百 PB 级的数据，涵盖短视频、直播、用户画像、AI 训练样本等高价值数字资产。作为快手存储团队的核心成员，你将参与构建下一代 EB 级大数据存储系统，以极致性价比保障数据稳固，支撑离线计算、实时计算、数据湖、AI 训练等关键业务场景。 1、负责下一代 EB 级大数据存储的设计与研发，面向海量数据，提供高可用、高可靠、高吞吐、低成本的存储解决方案； 2、深入探索存储引擎、元数据管理、冷热数据分层等核心技术，持续提升稳定性、扩展性以及成本效率； 3、结合 NVMe、QLC SSD、RDMA 等前沿硬件技术，推动高性能存储架构在快手的落地。
包括英文材料
学历+
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
HDFS+
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware.
https://www.ibm.com/cn-zh/think/topics/hdfs
Hadoop 分布式文件系统 (HDFS) 是一种管理大型数据集的文件系统，可在商用硬件上运行。
Ceph+
https://docs.ceph.com/en/squid/start/beginners-guide/
The purpose of A Beginner’s Guide to Ceph is to make Ceph comprehensible.
https://www.youtube.com/watch?v=oEKJnHAfSiw
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Yarn+
[英文] Introduction
https://yarnpkg.com/getting-started
Yarn is an established open-source package manager used to manage dependencies in JavaScript projects.
还有更多 •••
相关职位
社招5年以上D7194
1、负责快手自研 EB 级对象存储的研发工作，为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务； 2、负责对象存储核心模块与技术难题的重点攻关，包括海量元数据的管理、存储分层、功能与体验上的持续改进等； 3、吸收业界的新理论和成果，结合最新的软/硬件技术（如 GPU Direct Storage、Burst Buffer 等），灵活运用至业务实现降本增效。
更新于 2025-02-12深圳
社招5年以上D7194
1、负责快手自研 EB 级对象存储的研发工作，为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务； 2、负责对象存储核心模块与技术难题的重点攻关，包括海量元数据的管理、存储分层、功能与体验上的持续改进等； 3、吸收业界的新理论和成果，结合最新的软/硬件技术（如 GPU Direct Storage、Burst Buffer 等），灵活运用至业务实现降本增效。
更新于 2025-02-12杭州
社招5年以上D7194
1、负责快手自研 EB 级对象存储的研发工作，为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务； 2、负责对象存储核心模块与技术难题的重点攻关，包括海量元数据的管理、存储分层、功能与体验上的持续改进等； 3、吸收业界的新理论和成果，结合最新的软/硬件技术（如 GPU Direct Storage、Burst Buffer 等），灵活运用至业务实现降本增效。
更新于 2025-02-12北京
社招技术类
支持业务高效方便地对数据进行加工，不断助力全球化拓展； 完善批/流引擎处理能力，提高稳定性，不断优化性能及成本； 适配不同的数据源, 提供各种connector链接能力。
更新于 2025-10-17上海