logo of pinduoduo

拼多多spark/flink 引擎研发工程师/专家

社招全职技术类地点:上海状态:招聘

任职要求


熟悉常见大数据开源组件实现原理,有sparkflink二开经验或者熟悉源码优先;
精通Java语言编程,有一定的问题定位及性能优化经验;
在大数据计算和存储领域有相关研发经验,有相关产品落地者优先;
有责任心,进取心,并对技术保持热情。

加分项
参与过相关开源社区的项目,并做出贡献;
有线上大规模分布式计算集群运维经验。

工作职责


支持业务高效方便地对数据进行加工,不断助力全球化拓展;
完善批/流引擎处理能力,提高稳定性,不断优化性能及成本;
适配不同的数据源, 提供各种connector链接能力。
包括英文材料
大数据+
Spark+
Java+
相关职位

logo of kuaishou
社招D7195

1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。

更新于 2025-03-07
logo of kuaishou
社招D7195

1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。

更新于 2025-03-07
logo of kuaishou
社招D10990

1、负责大数据领域的资源调度云原生演进的架构设计&研发,打造支持大数据近离线、流批一体化架构的调度系统; 2、负责大数据主流引擎的云原生化技术演进,包括Spark、MR、Flink等引擎 on Kubernetes 架构设计&研发工作; 3、结合容器领域各类前沿技术,负责全局资源的编排及调度功能的技术迭代与落地实践。

更新于 2025-02-24
logo of antgroup
社招3年以上技术类-数据

1、负责网商银行数据体系和解决方案建设,赋能业务数字化运营,提升运营效率,保障数据的质量和稳定性; 2、负责业务领域核心数据体系的规划设计。在数据技术上,能结合业界技术探索数据服务的增量。在数据化运营和数据能力产品化上,制定数据技术和服务的策略。包括用户标签体系、数据智能化和自动化体系和实时数据体系的建设; 3、规划设计数据服务工具,提升数据研发的工作效率,搭建数据服务的工具/产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透; 4、负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效。

更新于 2025-09-23