快手资深数据研发专家-【数据平台】
社招全职10年以上J0012地点:北京状态:招聘
任职要求
1、有较为丰富的数据仓库及数据平台架构经验,通过对业务的深入理解,进行数据仓库、数据体系和数据价值的建设和优化,有短视频、直播、电商或广告类业务经验优先; 2、有从事分布式数据存储与计算平台应用开发经验,熟悉Hive,Kafka,Spark,Storm,…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1、建设全站的基础数据能力,提供丰富、稳定的短视频社区公共基础数据,探索更多数据能力的增量价值; 2、各类数据专题体系的建设,通过数据+算法等,赋能业务,提供全链路、可分析、可复用的数据能力,提供更直观、更具分析指导性的产品化能力; 3、建设公司层面的核心数据资产,与业务场景深度结合,为社区服务提供数据服务化、数据业务化的数据&产品解决方案; 4、建设全站数据治理和管理体系,结合业务+元数据+技术,保障公司各个业务服务的数据质量和产出稳定。
包括英文材料
数据仓库+
https://www.youtube.com/watch?v=9GVqKuTVANE
From Zero to Data Warehouse Hero: A Full SQL Project Walkthrough and Real Industry Experience!
https://www.youtube.com/watch?v=k4tK2ttdSDg
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Apache Storm+
[英文] Tutorial
https://storm.apache.org/releases/2.6.0/Tutorial.html
In this tutorial, you'll learn how to create Storm topologies and deploy them to a Storm cluster.
https://www.baeldung.com/apache-storm
This tutorial will be an introduction to Apache Storm, a distributed real-time computation system.
还有更多 •••
相关职位
社招技术类
1.负责大数据开发平台的设计与研发,包括开发IDE、任务调度、监控运维、元数据管理、adhoc查询等; 2.完善平台功能,优化用户使用体验; 3.负责线上问题的排查和解决,持续优化和提高系统能力。
更新于 2026-06-16上海
社招3年以上技术类
1. 负责数据服务产品系统的架构设计及开发工作。维护、迭代数据服务产品系统,持续改进系统的稳定性和可用性; 2. 与产品一起探讨数据服务产品的功能及用户体验的改进规划; 3. 探索和调研数据服务和产品的业界新技术、框架、中间件等,并根据需要应用到系统开发中; 4. 负责数据监控系统的设计和开发。
更新于 2026-06-16上海
社招5年以上技术类
1.负责拼多多实时数仓的架构设计和研发,持续集成相关工具产品,建设拼多多统一的实时数据体系; 2.负责拼多多实时数据建模、研发与质量把控,关键技术攻关,不断优化系统性能、降低资源开销; 3.推进批流一体落地,提升拼多多数据采集、生产与使用的时效性; 4.与业务深入合作,以解决实际问题导向,助力业务及产品不断优化; 5.构建丰富多样的实时应用,解决实时数据在数据分析、业务决策、服务化、产品化等场景的一系列挑战
更新于 2026-06-30上海