美团大数据架构-分布式计算引擎高级工程师

社招全职6年以上核心本地商业-基础研发平台2025-08-08地点：北京状态：招聘

扫码手机上打开

任职要求

1.计算机基础知识良好，熟悉C++或Java，对大数据计算或云原生感兴趣；
2.具有主流大数据计算引擎（包括但不限于Spark、Flink、Hudi、Iceberg等）的实际应用经验和原理了解，有引擎优化或平台化的经历;
3.熟悉Kubernetes架构及核心组件（如调度器、Operator）及大数据计算引擎云原生适配原理，有引擎优化或容器化部署经验；
4.技术自驱力强，具备系统性解决问题的能力和创新思维。

具备以下条件优先
1.参与过大型开源项目，尤其是在Flink/Spark、Kafka等引擎方面或者云原生开源项目贡献过社区代码；
2.完整参与过企业级数仓建设，或有数仓平台化的经历；
3.有计算引擎云原生改造经验；
4.具有存储系统读写优化相关工作经验。

工作职责

1.负责构建基于Kubernetes的云原生分布式计算平台，支撑离线计算、实时流处理等多场景需求，实现计算资源的弹性伸缩与高效调度；
2.解决数仓生产场景下业务规模增长带来的引擎扩展性问题，通过优化Shuffle服务、向量化执行引擎以及内核改造，支撑每天百万级Spark Job，EB级数据处理，单作业百TB Shuffle，不断提升生产引擎稳定性和扩展性，保障核心数据的稳定产出；
3.综合调度、引擎层内核改造优化等多种技术方案持续提升计算效率，降低计算成本；
4.设计并实现云原生环境下的弹性扩缩容策略，结合K8s编排能力与计算引擎特性，应对流量洪峰与资源碎片化挑战。

📮 投递简历 ✨AI模拟面试

难度：

包括英文材料

C+++

Java+

大数据+

Spark+

Flink+

Hudi+

Iceberg+

Kubernetes+

Kafka+

相关职位

实时计算引擎高级工程师

社招5-10年技术

1、开发维护实时湖仓引擎（Flink、Paimon），建设平台化能力，攻克在高并发、低延迟、海量数据处理等方面的关键技术难题，保障公司业务稳定高效运行。 2、规划构建一体化的 Data + AI 计算平台，实现数据与 AI 的深度融合，提升数据开发效率和数据价值。 3、结合技术发展趋势与业务需求，主导技术选型及技术路线规划，推动大数据平台能力达到行业领先水平。

更新于 2025-09-15

大数据平台研发高级/资深工程师

社招

-负责自驾大数据平台研发，实现分布式大数据计算和查询引擎以及分布式中间件 -支持海量数据计算以及高吞吐高并发数据应用场景，提升大数据产品性能和研发效率

更新于 2025-06-16

腾讯云大数据TBDS-后台高级研发工程师-深圳/上海/北京

社招5年以上CSIG技术

1.负责大数据平台的架构设计、开发和优化。优化计算引擎性能，对分布式存储做访问加速优化； 2.能深入分析和优化湖仓计算引擎查询性能，包括动态连接重排序、动态分区剪枝、自动处理数据倾斜和动态优化等； 3.负责分布式存储系统的管理和优化，提升数据访问性能，特别是在存算分离场景下的数据读写访问优化与加速； 4.提高大数据作业的调度和执行效率，包括对Apache Iceberg、Apache Hudi等湖仓关键技术的深入应用和优化； 5.在持续优化系统性能的同时，能确保系统的高可用性和稳定性。

更新于 2025-07-16

阿里国际-高级C++开发工程师（智能引擎&架构）-北京

社招3年以上技术类-开发

团队与角色介绍：我们是国际数字商业集团（AIDC）智能引擎事业群下属的广告引擎团队，致力于构建下一代智能广告技术平台。本岗位将深度参与广告引擎核心系统研发，聚焦在线服务架构优化、算法工程化落地、高并发系统性能调优及稳定性保障体系建设，通过技术创新驱动广告业务增长。岗位职责： 1. 智能广告引擎架构设计 ○ 主导AIDC广告引擎核心模块的技术架构设计与开发，构建高可用、低延迟的在线服务系统 ○ 推进算法工程化落地，设计与实现特征工程、模型训练、在线推理全链路优化方案 2. 大数据处理平台研发 ○ 开发支持千亿级数据处理的分布式计算框架，优化离线批处理与实时流式计算任务效率 ○ 构建高性能特征存储与计算系统，支持毫秒级实时特征抽取与复杂特征交叉计算 3. 系统工程优化 ○ 主导广告检索/排序/机制模块的性能调优，实现QPS与系统资源利用率的持续提升 ○ 设计多级容灾方案，建立全链路监控体系，保障99.99%+的系统可用性

更新于 2025-04-01