字节跳动数据湖存储专家-Hudi
任职要求
1、具备良好的Java/Scala编程基础和良好的计算机技术基础,同时具备良好的沟通能力和团队协作能力; 2、熟悉开源数据湖存储方案Hudi,Iceberg,Delta Lake的原理及源码,有内核开发经验或社区贡献者优先,开源社区Committer/PMC优先; 3、精通任一个Parquet,ORC,Arrow列存格式,或者Avro,Protobuf行存格式者优先; 4、熟悉Spark、Flink、Presto、Hive等主流大数据计算引擎者优先。
工作职责
1、打造业界领先的基于HUDI构建的EB级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和ToB业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与Spark、Flink、Presto、Hive等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为HUDI Committer/PMC。
数据引擎-数据湖团队,旨在打造业界领先的 EB 级超大规模数据湖,支持字节跳动众多业务线,如抖音、今日头条、电商。同时基于内部最佳实践,在火山引擎上打造一款云原生实时湖仓一体的 toB 产品——湖仓一体分析服务LAS(LakeHouse Analytics Service)。 职位描述: 1、打造业界领先的基于 HUDI 构建的 EB 级湖仓一体解决方案,支撑字节跳动众多核心业务线(如抖音,今日头条,电商)和 ToB 业务; 2、负责围绕数据湖构建一站式全托管优化服务,数据湖内核的极致优化,以及流批一体的数据湖加速层的设计与研发; 3、负责数据湖存储的生态研发,与 Spark、Flink、Presto、Hive 等计算引擎深度结合; 4、与开源社区紧密合作,持续构建开源影响力,有机会成长为 HUDI committer / PMC。
1、负责多模态数据湖内核与存储引擎的研发工作,在Data+AI场景提供行业数据湖解决方案; 2、负责与上层数据处理产品深度联动,建设多模数据湖生态; 3、结合字节跳动、国内头部大模型客户场景,支持多模态数据管理需求; 4、与开源社区深度合作,提升开源影响力。
数据引擎-存储引擎团队,负责开源数据湖 Hudi 的内核研发。团队内部有多名 Apache Committer,在国内外有较强的技术影响力,和国内顶尖的大数据计算、存储领域的专家一起合作,一起打造业界领先的 EB 级超大规模数据湖,并通过火山引擎的湖仓一体平台 LAS 对外输出。 职位描述: 1、打造业界领先的 EB 级湖仓一体解决方案,支撑字节跳动众多业务线(如抖音,今日头条,电商),并通过火山引擎 LAS 产品对外输出; 2、负责数据湖存储产品的架构设计、核心开发和应用落地; 3、负责数据湖产品的长期竞争力规划与推进落地。