字节跳动数据湖存储 Tech Lead/架构师-Hudi
任职要求
1、熟悉开源数据湖存储方案 Hudi,Iceberg,Delta Lake 其一的原理及源码,开源社区 committer / PMC 优先; 2、熟悉 Spark、Flink、Presto、Hive 等主流大数据系统原理及源码(不要求熟悉所有技术栈); 3、具备大规模系统的故障诊断与性能优化能力; 4、具有较强的项目推动能力,能推动技术项目在业务侧的落地。
工作职责
数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。 职位描述: 1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出; 2、负责数据湖存储产品的架构设计、核心开发和应用落地; 3、负责数据湖产品的长期竞争力规划与推进落地。
数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。 职位描述: 1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出; 2、负责数据湖存储产品的架构设计、核心开发和应用落地; 3、负责数据湖产品的长期竞争力规划与推进落地。
数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。 职位描述: 1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出; 2、负责数据湖存储产品的架构设计、核心开发和应用落地; 3、负责数据湖产品的长期竞争力规划与推进落地。
1、打造业界领先的基于HUDI构建的EB级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和ToB业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与Spark、Flink、Presto、Hive等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为HUDI Committer/PMC。
数据引擎-数据湖团队,旨在打造业界领先的 EB 级超大规模数据湖,支持字节跳动众多业务线,如抖音、今日头条、电商。同时基于内部最佳实践,在火山引擎上打造一款云原生实时湖仓一体的 toB 产品——湖仓一体分析服务LAS(LakeHouse Analytics Service)。 职位描述: 1、打造业界领先的基于 HUDI 构建的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和 ToB 业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与 Spark、Flink、Presto、Hive 等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为 HUDI committer / PMC。