快手大数据计算引擎研发工程师/专家(杭州)
社招全职D7195地点:杭州状态:招聘
任职要求
1、本科及以上学历,计算机科学与技术、软件工程或相关专业方向; 2、熟悉 Java 语言,扎实的计算机基础; 3、熟悉至少一种主流大数据引擎,包括但不限于 Spark/Presto/Flink/Kylin/Doris 等; 4、熟悉 SQL 引擎及常见的优化原理,包括但不限于 Calcite,Spark Catalyst 等; 5、有源码级优化经验或深入研究者优先;有开源社区贡献者优先;熟悉物化视图技术优先。
工作职责
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
包括英文材料
学历+
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Presto+
[英文] What is Presto?
https://prestodb.io/what-is-presto/
https://www.tutorialspoint.com/apache_presto/index.htm
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
Doris+
https://doris.apache.org/docs/gettingStarted/what-is-apache-doris
SQL+
https://liaoxuefeng.com/books/sql/introduction/index.html
什么是SQL?简单地说,SQL就是访问和处理关系数据库的计算机标准语言。
https://sqlbolt.com/
Learn SQL with simple, interactive exercises.
https://www.youtube.com/watch?v=p3qvj9hO_Bo
In this video we will cover everything you need to know about SQL in only 60 minutes.
Calcite+
https://calcite.apache.org/docs/tutorial.html
This is a step-by-step tutorial that shows how to build and connect to Calcite.
https://www.baeldung.com/apache-calcite
It’s a powerful data management framework that can be used in various scenarios concerning data access.
相关职位
社招3年以上技术类-数据
1、负责网商银行数据体系和解决方案建设,赋能业务数字化运营,提升运营效率,保障数据的质量和稳定性; 2、负责业务领域核心数据体系的规划设计。在数据技术上,能结合业界技术探索数据服务的增量。在数据化运营和数据能力产品化上,制定数据技术和服务的策略。包括用户标签体系、数据智能化和自动化体系和实时数据体系的建设; 3、规划设计数据服务工具,提升数据研发的工作效率,搭建数据服务的工具/产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透; 4、负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效。
更新于 2025-09-23
社招D11746
1、参与快手数据平台新一代数据分析引擎的建设,支撑超大规模业务数据量,提供统一化极致性能的解决方案; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
更新于 2025-03-07
社招3年以上技术类-数据
1)基于风控数据平台,建设风控相关的数据体系,持续集成相关工具产品,以及搭建风控基础计算层相关工作; 2)参与风控离线、近线、实时数据相关系统的设计、开发,包括数据加工,计算,ETL, 管理, 监控等; 3)深入理解风控业务,根据需求进行数据模型的设计,不断完善并产出业务效果,对依赖的引擎设计提出建设性建议。
更新于 2025-05-06