拼多多spark/flink 引擎研发工程师/专家
社招全职技术类地点：上海状态：招聘
任职要求
熟悉常见大数据开源组件实现原理，有spark、flink二开经验或者熟悉源码优先； 精通Java语言编程，有一定的问题定位及性能优化经验； 在大数据计算和存储领域…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
支持业务高效方便地对数据进行加工，不断助力全球化拓展； 完善批/流引擎处理能力，提高稳定性，不断优化性能及成本； 适配不同的数据源, 提供各种connector链接能力。
包括英文材料
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
还有更多 •••
相关职位
社招D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-03-07北京
社招D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-03-07杭州
社招3-5年D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-12-05北京
社招D10990
1、负责大数据领域的资源调度云原生演进的架构设计&研发，打造支持大数据近离线、流批一体化架构的调度系统； 2、负责大数据主流引擎的云原生化技术演进，包括Spark、MR、Flink等引擎 on Kubernetes 架构设计&研发工作； 3、结合容器领域各类前沿技术，负责全局资源的编排及调度功能的技术迭代与落地实践。
更新于 2025-02-24北京