小红书Kafka研发专家
社招全职3-5年数据引擎地点:北京 | 上海 | 杭州状态:招聘
任职要求
1. 本科及以上学历,5年以内大数据存储研发经验 2. 扎实的计算机基础和强悍的编码能力,对技术有好奇心 3. 熟悉主流的大数据存储产品(Kafka/HDFS/HBase/Alluxio),有开源项目开发经验尤佳 4. 优秀的设计与编码能力,针对业务需求与问题,可快速设计与实现解决方案 5. 具备良好的沟通和团队协作能力,做事主动积极负责任,有技术热情和激情面对挑战
工作职责
工作职责 1. 参与大数据存储产品(Kafka/文件缓存/文件系统)的系统研发与优化工作,构建一流的数据基础设施,满足AI+BI对数据Infra不断增长的需求 2. 与团队共同推动技术创新,探索更加AI-native的数据生产与存储链路,落地具有行业影响力的业务成果
包括英文材料
学历+
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
HDFS+
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware.
https://www.ibm.com/cn-zh/think/topics/hdfs
Hadoop 分布式文件系统 (HDFS) 是一种管理大型数据集的文件系统,可在商用硬件上运行。
HBase+
[英文] HBase Tutorial
https://www.tutorialspoint.com/hbase/index.htm
HBase is a data model that is similar to Google's big table designed to provide quick random access to huge amounts of structured data. This tutorial provides an introduction to HBase, the procedures to set up HBase on Hadoop File Systems, and ways to interact with HBase shell.
相关职位
社招5年以上D0599
1、负责或参与快手电商的离线/实时数据架构设计、模型设计; 2、完成海量数据的离线/实时加工处理工作,主导或参与团队大数据开发流程的优化以及相关技术问题的解决; 3、基于应用场景进行数据模型抽象,支持数据产品建设,助力业务发展。
更新于 2024-10-09
社招3-5年数据
1.参与滴滴国际金融支付、信贷、信用卡离线、实时数据集市和实时指标开发工作; 2.参与滴滴国际金融部门离线、实时相关数据规划、设计以及落地; 3.参与风控实时数据计算和服务的性能优化与运维,为业务提供稳定的服务; 4.参与实时标签数据的计算,与算法、标签部门密切合作;
更新于 2025-08-29
社招8年以上技术
1. 负责第三方支付平台全流程架构设计,深度参与系统优化,聚焦基础架构搭建与公共组件研发,推动支付技术体系持续升级,支撑业务高速增长; 2. 确保支付平台日均千万级交易量平稳运行,攻坚核心技术难点,包括但不限于亿级流水场景下的高并发处理、分布式事务一致性、资金安全防护及服务高可用保障,保障系统全链路安全、可靠、高效; 3. 牵头构建支付系统稳定性监控、预警及应急响应机制,优化容灾方案,从技术层面降低故障风险,提升系统抗风险能力。
更新于 2025-07-10