小红书Spark数据引擎研发专家
社招全职3-5年数据引擎地点：上海 | 北京 | 杭州状态：招聘
任职要求
任职资格 1、具备扎实大数据基础，熟悉 Spark 或其他分布式计算核心原理（RDD、DAG、Shuffle 等），能独立做任务调优与问题排查； 2、掌握 Java/C++/Python 至少一门编程语言，…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
1、基于 Spark 等核心计算引擎参与公司 AGI预训练 数据采集、去重等核心链路的重构，从引擎层设计适配方案支撑 AGI 数据处理； 2、负责 Spark、Celeborn、Hive 等离线计算引擎的维护、性能优化与稳定性保障；
包括英文材料
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
StarRocks+
https://docs.starrocks.io/docs/quick_start/
These Quick Start guides will help you get going with a small StarRocks environment.
https://itnext.io/introduction-to-starrocks-a-new-modern-analytical-database-1db2177d26e1
Recently, I had the opportunity to explore StarRocks which is the new kid in the block when talking about massive scale databases which are able to handle petabytes of data.
ClickHouse+
[英文] Advanced Tutorial
https://clickhouse.com/docs/tutorial
Learn how to ingest and query data in ClickHouse using the New York City taxi example dataset.
https://www.youtube.com/watch?v=FtoWGT7kS-c
ClickHouse is an open-source column-oriented DBMS for online analytical processing that allows users to generate analytical reports using SQL queries in real-time.
https://www.youtube.com/watch?v=Rhe-kUyrFUE&list=PL0Z2YDlm0b3gcY5R_MUo4fT5bPqUQ66ep
Impala+
[英文] Impala Tutorials
https://impala.apache.org/docs/build/html/topics/impala_tutorial.html
This section includes tutorial scenarios that demonstrate how to begin using Impala.
Doris+
https://doris.apache.org/docs/gettingStarted/what-is-apache-doris
MySQL+
https://juejin.cn/post/7190306988939542585
这是一篇 MySQL 通关一篇过硬核经验学习路线，包括数据库相关知识，SQL语句的使用，数据库约束，设计等。
[英文] MySQL Tutorial
https://www.mysqltutorial.org/
your go-to resource for mastering MySQL in a fast, easy, and enjoyable way.
https://www.youtube.com/watch?v=5OdVJbNCSso
MySQL SQL tutorial for beginners
https://www.youtube.com/watch?v=7S_tz1z_5bA
This beginner-friendly course teaches you SQL from scratch.
还有更多 •••
相关职位
社招2年以上技术类
1、【引擎研发】负责Spark、Presto、Hive 为基础的大数据查询引擎内核研发，跟进社区版本，改进性能，提升稳定性，研发新功能，修复内核BUG； 2、【业务支撑】负责排查、定位、解决生产集群问题，与运维同学一起维护生产集群的稳定性，协助业务方一起使用好大数据平台； 3、【平台规划】参与规划公司计算平台的技术演技，提升计算平台湖仓能力，基于云IAAS或者自建IAAS，打造高稳定性、高性能、低成本的计算平台。
更新于 2023-12-26上海|杭州
社招D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-03-07北京
社招D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-03-07杭州
社招3-5年D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-12-05北京