logo of bytedance

字节跳动数据湖存储 Tech Lead/架构师-Hudi

社招全职A149021地点:北京状态:招聘

任职要求


1、熟悉开源数据湖存储方案 Hudi,Iceberg,Delta Lake 其一的原理及源码,开源社区 committer / PMC 优先;
2、熟悉 SparkFlinkPrestoHive 等主流大数据系统原理及源码(不要求熟悉所有技术栈);
3、具备大规模系统的故障诊断与性能优化能力;
4、具有较强的项目推动能力,能推动技术项目在业务侧的落地。

工作职责


数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。

职位描述:
1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出;
2、负责数据湖存储产品的架构设计、核心开发和应用落地;
3、负责数据湖产品的长期竞争力规划与推进落地。
包括英文材料
Spark+
Presto+
Hive+
相关职位

logo of bytedance
社招A55356

数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。 职位描述: 1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出; 2、负责数据湖存储产品的架构设计、核心开发和应用落地; 3、负责数据湖产品的长期竞争力规划与推进落地。

更新于 2023-10-16
logo of bytedance
社招A78128A

数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。 职位描述: 1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出; 2、负责数据湖存储产品的架构设计、核心开发和应用落地; 3、负责数据湖产品的长期竞争力规划与推进落地。

更新于 2023-10-16
logo of bytedance
社招R9882

1、打造业界领先的基于HUDI构建的EB级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和ToB业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与Spark、Flink、Presto、Hive等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为HUDI Committer/PMC。

更新于 2023-03-06
logo of bytedance
社招Y8213

数据引擎-数据湖团队,旨在打造业界领先的 EB 级超大规模数据湖,支持字节跳动众多业务线,如抖音、今日头条、电商。同时基于内部最佳实践,在火山引擎上打造一款云原生实时湖仓一体的 toB 产品——湖仓一体分析服务LAS(LakeHouse Analytics Service)。 职位描述: 1、打造业界领先的基于 HUDI 构建的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和 ToB 业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与 Spark、Flink、Presto、Hive 等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为 HUDI committer / PMC。

更新于 2023-03-06