字节跳动数据湖存储专家-Hudi
社招全职Y8213地点:杭州状态:招聘
任职要求
1、具备良好的 Java / Scala 编程基础和良好的计算机技术基础,同时具备良好的沟通能力和团队协作能力; 2、熟悉开源数据湖存储方案 Hudi,Iceberg,Delta Lake 的原理及源码,有内核开发经验或社区贡献者优先,开源社…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
数据引擎-数据湖团队,旨在打造业界领先的 EB 级超大规模数据湖,支持字节跳动众多业务线,如抖音、今日头条、电商。同时基于内部最佳实践,在火山引擎上打造一款云原生实时湖仓一体的 toB 产品——湖仓一体分析服务LAS(LakeHouse Analytics Service)。 职位描述: 1、打造业界领先的基于 HUDI 构建的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和 ToB 业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与 Spark、Flink、Presto、Hive 等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为 HUDI committer / PMC。
包括英文材料
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Scala+
内核+
https://www.youtube.com/watch?v=C43VxGZ_ugU
I rummage around the Linux kernel source and try to understand what makes computers do what they do.
https://www.youtube.com/watch?v=HNIg3TXfdX8&list=PLrGN1Qi7t67V-9uXzj4VSQCffntfvn42v
Learn how to develop your very own kernel from scratch in this programming series!
https://www.youtube.com/watch?v=JDfo2Lc7iLU
Denshi goes over a simple explanation of what computer kernels are and how they work, alonside what makes the Linux kernel any special.
Parquet+
https://www.youtube.com/watch?v=KLFadWdomyI
Learn all about Apache Parquet, a column-based file format that's popular in the Hadoop/Spark ecosystem.
还有更多 •••
相关职位
社招R9882
1、打造业界领先的基于HUDI构建的EB级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和ToB业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与Spark、Flink、Presto、Hive等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为HUDI Committer/PMC。
更新于 2023-03-06上海
社招2年以上A38455
1、负责多模态数据湖内核与存储引擎的研发工作,在Data+AI场景提供行业数据湖解决方案; 2、负责与上层数据处理产品深度联动,建设多模数据湖生态; 3、结合字节跳动、国内头部大模型客户场景,支持多模态数据管理需求; 4、与开源社区深度合作,提升开源影响力。
更新于 2025-05-19北京
社招A149021
数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。 职位描述: 1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出; 2、负责数据湖存储产品的架构设计、核心开发和应用落地; 3、负责数据湖产品的长期竞争力规划与推进落地。
更新于 2023-11-27北京