logo of tencent

腾讯智能湖仓研发工程师(上海/深圳)

社招全职3年以上公共技术地点:上海状态:招聘

任职要求


1.具备良好的 Java / Scala 编程基础和良好的计算机技术基础,同时具备良好的沟通能力和团队协作能力;
2.熟悉开源数据湖存储方案 HudiIcebergDelta Lake 的原理及源码,有内核开发经验或社区贡献者优先,开源社区 committer / PMC 优先;
3.熟悉 Parquet,ORC,Arrow 文件格式,或者 Avro,Protobuf 行存格式者优先;
4.熟悉 SparkFlinkPrestoHive 等主流大数据计算引擎者优先。

工作职责


1.负责湖仓存储系统内核的极致优化,设计并实现异步湖仓智能优化模块,提升数据写入/查询性能与资源利用率;
2.生态对接与计算融合:深度整合 Spark、Flink、SR 等计算引擎,实现湖仓与流批一体场景的平滑对接,支持实时数仓与离线分析协同;
3.开源协同与技术影响力:参与 Iceberg, lance 等开源项目贡献,主导定制化功能开发,推动技术文档完善与社区生态共建。
包括英文材料
Java+
Scala+
Hudi+
Iceberg+
Delta Lake+
内核+
Parquet+
ProtoBuf+
Spark+
Presto+
Hive+
大数据+
相关职位

logo of tencent
社招TEG技术

1.负责湖仓存储系统内核的极致优化,设计并实现异步湖仓智能优化模块,提升数据写入/查询性能与资源利用率; 2.生态对接与计算融合:深度整合 Spark、Flink、SR 等计算引擎,实现湖仓与流批一体场景的平滑对接,支持实时数仓与离线分析协同; 3.开源协同与技术影响力:参与 Iceberg 等开源项目贡献,主导定制化功能开发,推动技术文档完善与社区生态共建。

更新于 2025-05-26
logo of tencent
社招公共技术

1.负责大数据相关计算引擎核心研发,为腾讯的智能湖仓打造领先业界的计算内核, 推进大数据业务的高效发展; 2.负责腾讯计算内核领域前沿技术调研,与开源社区保持交流,根据业务特性和需求,引入前沿技术。

更新于 2025-07-22
logo of bytedance
社招8UY51

1、负责分布式数据库(云原生架构)设计实现,打造业界领先的数据库系统; 2、理解业务/云原生架构,从场景出发,设计并实现高并发,低延时,高容错系统; 3、分析系统性能瓶颈,从软硬一体设计出发,打造极致系统; 4、跟踪数据库前沿技术,挖掘/落地新技术的机会,包括新硬件,智能优化器,湖仓一体等。

更新于 2020-05-18
logo of vivo
社招5年以上研发类

1、设计并开发高可用、可扩展的实时数据处理系统,稳定处理来自智能手机的海量用户行为数据; 2、负责实时指标计算的数据建模、架构设计与开发,包括:数据接入、数据处理、olap分析等,针对海量的数据,能以最优的方案实现,满足性能要求; 3、负责实时系统的异常数据监测和数据质量保障,提升和数据准确性、一致性和稳定性; 4、与PM、业务方合作,深入业务解决问题。

更新于 2025-08-04