快手大数据运维开发工程师/专家
社招全职3年以上D7209地点:北京状态:招聘
任职要求
1、大学本科及以上学历,计算机或者相关专业,3年以上经验均可; 2、 熟悉Hadoop生态圈各组件基本原理以及使用(包括但不限于Hdfs、Yarn、Hbase、Kafka、Hive、Clickhouse); 3、具备扎实的编程能力,掌握至少一种脚本语言(Shell、Perl、Python等),熟悉Java等开发语言者优先,熟悉常用算法和数据结构; 4、…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1、负责公司数万节点大数据集群的各项运维管理工作,保障集群服务的高可用性运行; 2、负责超大规模集群服务运维管理平台的设计与研发工作,保障集群服务版本高速迭代以及变更的风险控制; 3、负责集群服务的监控报警体系规划与产品研发迭代,推进监控报警有效性与智能化; 4、负责集群服务容量规划、服务管理与治理规划与产品研发迭代工作。
包括英文材料
学历+
Hadoop+
https://www.runoob.com/w3cnote/hadoop-tutorial.html
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集,并且支持在单台计算机到几千台计算机之间进行扩展。
[英文] Hadoop Tutorial
https://www.tutorialspoint.com/hadoop/index.htm
Hadoop is an open-source framework that allows to store and process big data in a distributed environment across clusters of computers using simple programming models.
HDFS+
https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware.
https://www.ibm.com/cn-zh/think/topics/hdfs
Hadoop 分布式文件系统 (HDFS) 是一种管理大型数据集的文件系统,可在商用硬件上运行。
Yarn+
[英文] Introduction
https://yarnpkg.com/getting-started
Yarn is an established open-source package manager used to manage dependencies in JavaScript projects.
HBase+
[英文] HBase Tutorial
https://www.tutorialspoint.com/hbase/index.htm
HBase is a data model that is similar to Google's big table designed to provide quick random access to huge amounts of structured data. This tutorial provides an introduction to HBase, the procedures to set up HBase on Hadoop File Systems, and ways to interact with HBase shell.
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
ClickHouse+
[英文] Advanced Tutorial
https://clickhouse.com/docs/tutorial
Learn how to ingest and query data in ClickHouse using the New York City taxi example dataset.
https://www.youtube.com/watch?v=FtoWGT7kS-c
ClickHouse is an open-source column-oriented DBMS for online analytical processing that allows users to generate analytical reports using SQL queries in real-time.
https://www.youtube.com/watch?v=Rhe-kUyrFUE&list=PL0Z2YDlm0b3gcY5R_MUo4fT5bPqUQ66ep
还有更多 •••
相关职位
社招3年以上D7209
1、参与快手大数据运维产品建设,包括大数据计算引擎运维平台与业务控制台开发落地,保障引擎运维效率以及提升业务使用计算引擎易用性; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、为团队引入创新的技术、创新的解决方案,用创新的思路解决问题。
更新于 2025-03-07北京
社招1年以上后端开发
小红书基础设施网络平台致力于实现网络监管控的平台化,自动化,智能化。建设多场景、高可用、高性能可观测系统。覆盖设备基础监控,流量分析,云网络,拨测,内网质量等多种场景。
北京|上海|杭州
社招5年以上腾讯云技术
1.负责腾讯云大数据基础运维和客户问题解决,基于腾讯云提供的EMR、Elasticsearch、TCHouse产品,解决客户在产品使用过程中遇到的问题,为客户业务提供最佳服务体验; 2.负责报障大数据产品服务稳定性,包括全局数智化监控、服务架构容灾、容量管理等基础运维能力建设,保障大数据服务SLA; 3.负责运维标准流程规范制定,建设大数据产品运维标准、大数据产品规范化变更流程和大数据组件可观测性标准等; 4.参与智能化运维AIOps,对标互联网SRE业界优秀经验,基于自研运维平台,实现智能化运维,提升运维效率。
更新于 2025-08-05上海