得物大数据引擎研发专家
社招全职2年以上技术类地点：上海 | 杭州状态：招聘
任职要求
1、【工程能力】扎实的计算机基础和算法数据结构功底，精通Java/Scala语言，如并发编程和JVM、常见设计模式，追求高标准的工程质量，具备优秀的Debug/Profiling能力； 2、【领域能力】在大数据离线计算领域2年以上的研发经验，大数据领域5年以上研发经验，有研发过Spark/Presto/Flink/Hadoop或类似分布式计算引擎者优先，向社区贡献过Patch 者优先，并有规模落地Hadoop平台经验优先； 3、【以技为本】对技术有热情，愿意不断尝试新技术和业务挑战，具备主人翁精神和团队精神、良好的沟通协调能力，有责任感、结果导向、较强的推动执行落地能力。
工作职责
1、【引擎研发】负责Spark、Presto、Hive 为基础的大数据查询引擎内核研发，跟进社区版本，改进性能，提升稳定性，研发新功能，修复内核BUG； 2、【业务支撑】负责排查、定位、解决生产集群问题，与运维同学一起维护生产集群的稳定性，协助业务方一起使用好大数据平台； 3、【平台规划】参与规划公司计算平台的技术演技，提升计算平台湖仓能力，基于云IAAS或者自建IAAS，打造高稳定性、高性能、低成本的计算平台。
包括英文材料
算法+
https://roadmap.sh/datastructures-and-algorithms
Step by step guide to learn Data Structures and Algorithms in 2025
https://www.hellointerview.com/learn/code
A visual guide to the most important patterns and approaches for the coding interview.
https://www.w3schools.com/dsa/
数据结构+
https://www.youtube.com/watch?v=8hly31xKli0
In this course you will learn about algorithms and data structures, two of the fundamental topics in computer science.
https://www.youtube.com/watch?v=B31LgI4Y4DQ
Learn about data structures in this comprehensive course. We will be implementing these data structures in C or C++.
https://www.youtube.com/watch?v=CBYHwZcbD-s
Data Structures and Algorithms full course tutorial java
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Scala+
JVM+
https://www.freecodecamp.org/news/jvm-tutorial-java-virtual-machine-architecture-explained-for-beginners/
https://www.youtube.com/watch?v=e2zmmkc5xI0
设计模式+
https://liaoxuefeng.com/books/java/design-patterns/index.html
设计模式，即Design Patterns，是指在软件设计中，被反复使用的一种代码设计经验。使用设计模式的目的是为了可重用代码，提高代码的可扩展性和可维护性。
[英文] Design Patterns
https://refactoring.guru/design-patterns
Design patterns are typical solutions to common problems in software design. Each pattern is like a blueprint that you can customize to solve a particular design problem in your code.
https://www.youtube.com/watch?v=NU_1StN5Tkk
Design Patterns tutorial explained in simple words using real-world examples.
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Presto+
[英文] What is Presto?
https://prestodb.io/what-is-presto/
https://www.tutorialspoint.com/apache_presto/index.htm
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
Hadoop+
https://www.runoob.com/w3cnote/hadoop-tutorial.html
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。
[英文] Hadoop Tutorial
https://www.tutorialspoint.com/hadoop/index.htm
Hadoop is an open-source framework that allows to store and process big data in a distributed environment across clusters of computers using simple programming models.
相关职位
社招3-5年数据引擎
1、参与小红书Spark离线引擎的研发工作，支撑小红书云原生大规模离线数据处理场景，包括数据仓库、机器学习等场景，提升离线处理引擎的性能和稳定性 2、参与小红书Spark Native Engine 和 Serverless Spark 架构的研发工作，提升任务时效性，同时利用离在线混部降低资源成本 3、参与统一元数据工作，为小红书算法AI团队管理非结构化数据，提供统一访问方式，简化算法数据开发链路，并进行数据治理
更新于 2025-08-22
社招D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-03-07
社招D7195
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
更新于 2025-03-07
社招5年以上技术类
【核心技术研发】主导数据湖格式引擎（Iceberg/Hudi/Delta Lake/Paimon）内核开发与性能调优，构建支持批流一体与高效增量处理的技术体系； 【业务支撑】主导生产集群疑难问题诊断与根因分析，协同运维保障平台高可用性，提供业务方全链路大数据平台使用支持； 【平台规划】参与计算平台技术架构演进设计，提升湖仓一体能力，基于云原生IAAS或自建IAAS构建高可靠、高性能、低成本的计算基础设施；
更新于 2025-07-08