快手大数据计算引擎研发工程师/专家
社招全职D7195地点:北京状态:招聘
任职要求
1、本科及以上学历,计算机科学与技术、软件工程或相关专业方向; 2、熟悉 Java 语言,扎实的计算机基础; 3、熟悉至少一种主流大数据引擎,包括但不限于 Spark/Presto/Flink/Kylin/Doris 等; 4、熟悉 SQL 引擎及常见的优化原理,包括但不限于 Calcite,Spark Catalyst 等; 5、有源码级优化经验或深入研究者优先;有开源社区贡献者优先;熟悉物化视图技术优先。
工作职责
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
包括英文材料
学历+
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Presto+
[英文] What is Presto?
https://prestodb.io/what-is-presto/
https://www.tutorialspoint.com/apache_presto/index.htm
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
Doris+
https://doris.apache.org/docs/gettingStarted/what-is-apache-doris
SQL+
https://liaoxuefeng.com/books/sql/introduction/index.html
什么是SQL?简单地说,SQL就是访问和处理关系数据库的计算机标准语言。
https://sqlbolt.com/
Learn SQL with simple, interactive exercises.
https://www.youtube.com/watch?v=p3qvj9hO_Bo
In this video we will cover everything you need to know about SQL in only 60 minutes.
Calcite+
https://calcite.apache.org/docs/tutorial.html
This is a step-by-step tutorial that shows how to build and connect to Calcite.
https://www.baeldung.com/apache-calcite
It’s a powerful data management framework that can be used in various scenarios concerning data access.
相关职位
社招D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
更新于 2025-03-07
社招3-5年D6219
1、负责快手AB实验中台功能建设,支撑快手核心业务通过实验高效迭代; 2、负责平台产品功能迭代,解决复杂实验场景下性能优化和稳定性保障的技术挑战; 3、配合数据科学和产品参与平台运营、推广实验文化,提升业务实验规范性和决策效率。
更新于 2024-10-30
社招3年以上技术类-数据
1、负责网商银行数据体系和解决方案建设,赋能业务数字化运营,提升运营效率,保障数据的质量和稳定性; 2、负责业务领域核心数据体系的规划设计。在数据技术上,能结合业界技术探索数据服务的增量。在数据化运营和数据能力产品化上,制定数据技术和服务的策略。包括用户标签体系、数据智能化和自动化体系和实时数据体系的建设; 3、规划设计数据服务工具,提升数据研发的工作效率,搭建数据服务的工具/产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透; 4、负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效。
更新于 2025-09-23