快手高级数据研发工程师(数据应用)-【数据平台】
社招全职D11761地点:北京状态:招聘
任职要求
1、较为丰富的数据仓库及数据平台架构经验,期望通过对业务的深入理解,进行数据仓库、数据体系和数据价值的建设和优化; 2、有从事分布式数据存储与计算平台应用开发经验,熟悉Hive,Kafka,Sp…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1、建设全站的基础数据能力,提供丰富、稳定的短视频社区公共基础数据,探索更多数据能力的增量价值; 2、通过业务数据需求,提供数据采集埋点方案,跟进埋点全流程,交付结果,推进埋点质量相关建设; 3、支持消费、本地生活等业务的数据建设,通过数据+算法+产品,赋能业务,提供全链路、可分析、可复用的数据能力,提供更直观、更具分析指导性的产品化能力; 4、建设公司层面的核心数据资产,与业务场景深度结合,为社区服务提供数据服务化、数据业务化的数据&产品解决方案; 5、建设全站数据治理和管理体系,结合业务+元数据+技术,保障公司各个业务服务的数据质量和产出稳定。
包括英文材料
数据仓库+
https://www.youtube.com/watch?v=9GVqKuTVANE
From Zero to Data Warehouse Hero: A Full SQL Project Walkthrough and Real Industry Experience!
https://www.youtube.com/watch?v=k4tK2ttdSDg
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
还有更多 •••
相关职位
社招3年以上机器学习平台
【业务介绍】 我们是小红书内稠密类模型(LLM/MLLM/SD/CV/NLP)统一的AI平台QuickSilver,负责调度公司内所有稠密类模型训练与推理资源,基于自建的训推引擎,为公司所有AI算法同学迭代业务模型提供端到端一站式AI服务;包括数据管理,模型管理,模型训练、压缩、推理、部署,服务管理,资源调度等一系列能力。 工作职责: 1、负责稠密类模型训练推理开发平台的架构设计和核心功能研发 2、设计和实现大模型训练部署流程,包括模型fine-tuning、推理服务化等 3、构建云原生架构,设计高可用、高性能的微服务体系 4、优化平台性能,提升系统稳定性和可扩展性
北京|上海|深圳
社招3年以上核心本地商业-业
1.负责美团-团购频道的搜/推算法策略迭代,优化用户搜推体验,提升频道转化率; 2.应用大规模机器学习算法,优化查询理解、相关性、召回、粗排、精排、重排等算法模块; 3.深入思考产品业务价值,参与制定及落实团队在技术、业务等多维度演进方案; 4.与前后端工程、产品、数据等团队密切合作,实现高质量的产品和解决方案。
更新于 2025-04-03北京
社招3年以上核心本地商业-业
1. 负责美团平台业务迭代,保障项目研发质量、交付周期、产品稳定性、产品可用性; 2. 负责美团平台核心链路性能优化,保障用户体验; 3. 持续改善现有技术框架,提升工程效率,适应业务发展; 4. 负责美团平台业务模块的质量、性能、体验的优化治理。
更新于 2025-04-03北京