小红书大数据存储研发专家
社招全职3-5年数据引擎地点:北京 | 上海 | 杭州状态:招聘
任职要求
1. 本科及以上学历,5年以内大数据存储研发经验 2. 扎实的计算机基础和强悍的编码能力,对技术有好奇心 3. 熟悉主流的大数据存储产品(HDFS/HBase/Alluxio/JuiceFS),有开源项目开发经验尤佳 4. 优秀的设计与编码能力,针对业务需求与问题,可快速设计与实现解决方案 5. 具备良好的沟通和团队协作能力,做事主动积极负责任,有技术热情和激情面对挑战
工作职责
1. 参与分布式存储产品的系统研发与优化工作,构建一流的数据基础设施,满足AI、机器学习、大数据对数据Infra不断增长的需求 2. 与团队共同推动技术创新,探索更加AI-native的数据生产与存储链路,落地具有行业影响力的业务成果
包括英文材料
学历+
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
HDFS+
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware.
https://www.ibm.com/cn-zh/think/topics/hdfs
Hadoop 分布式文件系统 (HDFS) 是一种管理大型数据集的文件系统,可在商用硬件上运行。
HBase+
[英文] HBase Tutorial
https://www.tutorialspoint.com/hbase/index.htm
HBase is a data model that is similar to Google's big table designed to provide quick random access to huge amounts of structured data. This tutorial provides an introduction to HBase, the procedures to set up HBase on Hadoop File Systems, and ways to interact with HBase shell.
相关职位
社招3-5年数据引擎
1. 参与分布式存储产品的系统研发与优化工作,构建一流的数据基础设施,满足AI、机器学习、大数据对数据Infra不断增长的需求 2. 与团队共同推动技术创新,探索更加AI-native的数据生产与存储链路,落地具有行业影响力的业务成果
更新于 2025-08-06

社招2年以上技术类
1、【数据通道】负责大数据通道Tunnel服务的建设 2、【存储引擎】HDFS、Alluxio、JuiceFS等大数据存储系统的内核研发,跟进社区版本、改进性能、提升稳定性、定制新功能; 3、【业务支撑】负责排查、定位、解决生产集群问题,与运维同学一起维护生产集群的稳定性,协助业务方一起使用好大数据平台; 4、【平台规划】参与规划公司存储平台的技术演技,打造高稳定性、高性能、低成本的存储平台。
更新于 2024-07-03
社招3-5年数据引擎
工作职责 1. 参与大数据存储产品(Kafka/文件缓存/文件系统)的系统研发与优化工作,构建一流的数据基础设施,满足AI+BI对数据Infra不断增长的需求 2. 与团队共同推动技术创新,探索更加AI-native的数据生产与存储链路,落地具有行业影响力的业务成果
更新于 2025-08-22
社招3年以上D8027
7 亿快手用户每天都在生产百 PB 级的数据,涵盖短视频、直播、用户画像、AI 训练样本等高价值数字资产。作为快手存储团队的核心成员,你将参与构建下一代 EB 级大数据存储系统,以极致性价比保障数据稳固,支撑离线计算、实时计算、数据湖、AI 训练等关键业务场景。 1、负责下一代 EB 级大数据存储的设计与研发,面向海量数据,提供高可用、高可靠、高吞吐、低成本的存储解决方案; 2、深入探索存储引擎、元数据管理、冷热数据分层等核心技术,持续提升稳定性、扩展性以及成本效率; 3、结合 NVMe、QLC SSD、RDMA 等前沿硬件技术,推动高性能存储架构在快手的落地。
更新于 2025-07-13