logo of tencent

腾讯大数据计算引擎研发工程师(北京/深圳/上海)

社招全职公共技术地点:上海状态:招聘

任职要求


1.计算机相关专业硕士及以上学历为佳,具有扎实的数据库、分布式计算领域专业知识,关注学术和工业界的进展,关注新硬件,新架构,对某一细分方向有深入研究者更优;
2.熟悉主流大数据组件如sparkprestoflinkstarrocks等,熟悉数据库/大数据标准模块、框架如substrait、calcite、arrow、velox、gluten等;
3.熟悉k8s、对云原生、混合多云有一定了解;
4.具有优秀的学习能力、创新能力、沟通能力、团队合作意识;强烈的责任心与主动性,对所负责工作有owner意识,并能自我驱动成长;
5.有开源项目贡献,在数仓、数据库领域的顶会如VLDB,SIGMOD等有贡献者优先。

工作职责


1.负责大数据相关计算引擎核心研发,为腾讯的智能湖仓打造领先业界的计算内核, 推进大数据业务的高效发展;
2.负责腾讯计算内核领域前沿技术调研,与开源社区保持交流,根据业务特性和需求,引入前沿技术。
包括英文材料
学历+
大数据+
Spark+
Presto+
StarRocks+
Calcite+
Kubernetes+
相关职位

logo of tencent
社招TEG技术

1.负责湖仓存储系统内核的极致优化,设计并实现异步湖仓智能优化模块,提升数据写入/查询性能与资源利用率; 2.生态对接与计算融合:深度整合 Spark、Flink、SR 等计算引擎,实现湖仓与流批一体场景的平滑对接,支持实时数仓与离线分析协同; 3.开源协同与技术影响力:参与 Iceberg 等开源项目贡献,主导定制化功能开发,推动技术文档完善与社区生态共建。

更新于 2025-05-26
logo of tencent
社招3年以上TEG技术

1.基于开源项目 Ray,打造业内领先的通用分布式计算引擎,包括但不限于以下方向:引擎内核(分布式Task调度与执行)、分布式数据处理框架、分布式在线服务编排框架等; 2.面向 Data + AI,支持和拓展以 Ray 为 infra 的多种业务场景,包括但不限于以下方向:数据科学、大模型训练数据管道服务、在线推理与离线推理、AI Agent与应用系统、隐私计算、图计算等; 3.与 K8S 深度融合,建设云原生环境下超大规模分布式系统的服务能力与平台化能力,为业务提供高可用、可扩展、高易用性的集群化服务; 4.参与开源共建与合作,提升团队与个人在业界的影响力。

更新于 2025-06-09
logo of tencent
社招5年以上CSIG技术

1.负责大数据平台的架构设计、开发和优化。优化计算引擎性能,对分布式存储做访问加速优化; 2.能深入分析和优化湖仓计算引擎查询性能,包括动态连接重排序、动态分区剪枝、自动处理数据倾斜和动态优化等; 3.负责分布式存储系统的管理和优化,提升数据访问性能,特别是在存算分离场景下的数据读写访问优化与加速; 4.提高大数据作业的调度和执行效率,包括对Apache Iceberg、Apache Hudi等湖仓关键技术的深入应用和优化; 5.在持续优化系统性能的同时,能确保系统的高可用性和稳定性。

更新于 2025-07-16