快手大数据存储研发工程师/专家（HDFS）
社招全职3年以上D8027地点：北京状态：招聘
任职要求
1、本科及以上学历，计算机相关专业，存储领域 3 年以上工作经验； 2、熟练掌握 Java，具备优秀的工程能力，对代码质量有极高要求； 3、熟悉 HDFS、Ceph、S3 等主流分布式存储系统，有实际调优或二次开发经验； 4、有强烈的责任心与进取心，具备较好的学习能力和沟通能力，能够快速的响应和行动； 5、逻辑清晰，能快速理解业务需求并抽象为技术方案，具备强自驱力和抗压能力。 加分项： 1、熟悉大数据生态组件（如 Yarn、Spark、Flink、Kafka、Hudi、Doris），理解其与存储系统的协同机制； 2、有大规模存储集群优化经验（如 QoS 控制、IO 调度、数据压缩/去重等）； 3、开源社区活跃者。
工作职责
7 亿快手用户每天都在生产百 PB 级的数据，涵盖短视频、直播、用户画像、AI 训练样本等高价值数字资产。作为快手存储团队的核心成员，你将参与构建下一代 EB 级大数据存储系统，以极致性价比保障数据稳固，支撑离线计算、实时计算、数据湖、AI 训练等关键业务场景。 1、负责下一代 EB 级大数据存储的设计与研发，面向海量数据，提供高可用、高可靠、高吞吐、低成本的存储解决方案； 2、深入探索存储引擎、元数据管理、冷热数据分层等核心技术，持续提升稳定性、扩展性以及成本效率； 3、结合 NVMe、QLC SSD、RDMA 等前沿硬件技术，推动高性能存储架构在快手的落地。
包括英文材料
学历+
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
HDFS+
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware.
https://www.ibm.com/cn-zh/think/topics/hdfs
Hadoop 分布式文件系统 (HDFS) 是一种管理大型数据集的文件系统，可在商用硬件上运行。
Ceph+
https://docs.ceph.com/en/squid/start/beginners-guide/
The purpose of A Beginner’s Guide to Ceph is to make Ceph comprehensible.
https://www.youtube.com/watch?v=oEKJnHAfSiw
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Yarn+
[英文] Introduction
https://yarnpkg.com/getting-started
Yarn is an established open-source package manager used to manage dependencies in JavaScript projects.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
Doris+
https://doris.apache.org/docs/gettingStarted/what-is-apache-doris
相关职位
社招5年以上D7194
1、负责快手自研 EB 级对象存储的研发工作，为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务； 2、负责对象存储核心模块与技术难题的重点攻关，包括海量元数据的管理、存储分层、功能与体验上的持续改进等； 3、吸收业界的新理论和成果，结合最新的软/硬件技术（如 GPU Direct Storage、Burst Buffer 等），灵活运用至业务实现降本增效。
更新于 2025-02-12
社招5年以上D7194
1、负责快手自研 EB 级对象存储的研发工作，为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务； 2、负责对象存储核心模块与技术难题的重点攻关，包括海量元数据的管理、存储分层、功能与体验上的持续改进等； 3、吸收业界的新理论和成果，结合最新的软/硬件技术（如 GPU Direct Storage、Burst Buffer 等），灵活运用至业务实现降本增效。
更新于 2025-02-12
社招5年以上D7194
1、负责快手自研 EB 级对象存储的研发工作，为业务提供海量、安全、低成本、高可靠、高可用的对象存储服务； 2、负责对象存储核心模块与技术难题的重点攻关，包括海量元数据的管理、存储分层、功能与体验上的持续改进等； 3、吸收业界的新理论和成果，结合最新的软/硬件技术（如 GPU Direct Storage、Burst Buffer 等），灵活运用至业务实现降本增效。
更新于 2025-02-12
社招技术类
支持业务高效方便地对数据进行加工，不断助力全球化拓展； 完善批/流引擎处理能力，提高稳定性，不断优化性能及成本； 适配不同的数据源, 提供各种connector链接能力。
更新于 2025-10-17