竞技世界【竞技世界】大数据运维
社招全职3年以上系统部地点：北京状态：招聘
任职要求
1、全日制统招本科以上学历，计算机或相关专业，至少3年以上大数据组件开发/运维经验。 2、熟悉Hive\Impala\ClickHouse\Kyuubi\Trino\Zookeeper等组件的规划、安装、部署、故障处理和调优； 3、掌握Docker/Kubernetes容器化技术，并有大规模使用、排错和优化经验； 4、有CDH相关运维工作经验，熟悉大数据集群安全规划及实施，包括Sentry, Ranger, 以及Kerberos集成 5、熟悉元数据、…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
1、负责大数据生态组件的规划、部署、监控、优化、版本升级及运维管理 2、负责大数据平台组件运维管理服务及云原生化建设 3、设计并推动大数据组件云原生化建设及业务场景应用落地，持续探索新发展方向 4、负责执行数据平台运维流程的规划设计并持续改进完善 5、负责大数据数据平台数据血缘、数据治理能力的建设及持续优化； 6、协助团队完成系统升级、新功能上线及测试，支持业务部门的技术需求。 7、负责处理数据平台各类异常和故障，确保系统平台的稳定运行； 8、负责数据平台的日常运维管理工作；
包括英文材料
学历+
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
Impala+
[英文] Impala Tutorials
https://impala.apache.org/docs/build/html/topics/impala_tutorial.html
This section includes tutorial scenarios that demonstrate how to begin using Impala.
ClickHouse+
[英文] Advanced Tutorial
https://clickhouse.com/docs/tutorial
Learn how to ingest and query data in ClickHouse using the New York City taxi example dataset.
https://www.youtube.com/watch?v=FtoWGT7kS-c
ClickHouse is an open-source column-oriented DBMS for online analytical processing that allows users to generate analytical reports using SQL queries in real-time.
https://www.youtube.com/watch?v=Rhe-kUyrFUE&list=PL0Z2YDlm0b3gcY5R_MUo4fT5bPqUQ66ep
ZooKeeper+
https://kubernetes.io/docs/tutorials/stateful-application/zookeeper/
This tutorial demonstrates running Apache Zookeeper on Kubernetes using StatefulSets, PodDisruptionBudgets, and PodAntiAffinity.
https://www.baeldung.com/java-zookeeper
Apache ZooKeeper is a distributed coordination service which eases the development of distributed applications.
[英文] Zookeeper Tutorial
https://www.tutorialspoint.com/zookeeper/index.htm
ZooKeeper is a distributed co-ordination service to manage large set of hosts.
Docker+
https://www.youtube.com/watch?v=GFgJkfScVNU
Master Docker in one course; learn about images and containers on Docker Hub, running multiple containers with Docker Compose, automating workflows with Docker Compose Watch, and much more. 🐳
https://www.youtube.com/watch?v=kTp5xUtcalw
Learn how to use Docker and Kubernetes in this complete hand-on course for beginners.
Kubernetes+
https://kubernetes.io/docs/tutorials/kubernetes-basics/
This tutorial provides a walkthrough of the basics of the Kubernetes cluster orchestration system.
https://kubernetes.io/zh-cn/docs/tutorials/kubernetes-basics/
本教程介绍 Kubernetes 集群编排系统的基础知识。每个模块包含关于 Kubernetes 主要特性和概念的一些背景信息，还包括一个在线教程供你学习。
https://www.youtube.com/watch?v=s_o8dwzRlu4
Hands-On Kubernetes Tutorial | Learn Kubernetes in 1 Hour - Kubernetes Course for Beginners
https://www.youtube.com/watch?v=X48VuDVv0do
Full Kubernetes Tutorial | Kubernetes Course | Hands-on course with a lot of demos
Sentry+
https://docs.sentry.io/product/sentry-basics/
Sentry is a developer-first error tracking and performance monitoring platform.
https://www.youtube.com/watch?v=cl8tPBI4qUc
Learn the basics of frontend Javascript error monitoring with Sentry.
https://www.youtube.com/watch?v=DzhVEK65eYg
Learn the basics of backend error monitoring with Sentry and recent updates to the issue experience.
还有更多 •••
相关职位
社招3-5年平台类
1、设计、部署和维护大数据平台和集群（如Maxcompute，ADB、Flink、Kafka等）。 2、管理和优化大数据集群的性能、容量和可用性。 3、开发和维护自动化运维脚本和工具，提升运维效率。 4、监控和故障排除大数据平台，确保系统的稳定性和可靠性。 5、与数据工程和分析团队合作，提供最佳的运维支持。 6、实施安全措施，确保数据平台的安全性和合规性。 7、编写和维护运维文档和流程。
更新于 2024-07-24上海
社招5-10年运维工程师岗
1. 负责大数据基础架构平台（如Hadoop、YARN、Hive、Spark、Presto等）及各类中间件的运维工作，确保数据平台服务的稳定性与高可用性； 2. 承担大数据环境的组件升级、资源规划、服务监控等持续运营与规划任务，优化系统性能，提升运维效率； 3. 参与自动化运维系统及平台的建设，推动运维流程的自动化与智能化，减少人工干预，提高运维质量； 4. 解决平台技术难题，对突发问题快速响应并解决，确保业务连续性和数据安全； 5. 优化部门运维流程，提升整体运维效率，确保团队能够高效协作，共同达成业务目标。
更新于 2025-04-17北京
社招5年以上信息技术类
1.负责大数据/AI相关组件技术优化，成本优化。 2.参与部门技术发展路线的制定和实践，以及大数据相关标准制定等工作； 3.根据公司业务特征，负责Hadoop/Spark相关组件功能和性能优化设计和实施落地工作； 4.直接参与用户需求调研项目，负责大数据运作的初始化系统架构和产品建模； 5.参与团队技术人才培养，指导产品研发团队成员工作，提升团队研发能力； 6.研究大数据技术发展动态，研究新型计算框架，并能够提出优化解决方案；
更新于 2024-03-27南京|上海
社招3年以上D7209
1、负责公司数万节点大数据集群的各项运维管理工作，保障集群服务的高可用性运行； 2、负责超大规模集群服务运维管理平台的设计与研发工作，保障集群服务版本高速迭代以及变更的风险控制； 3、负责集群服务的监控报警体系规划与产品研发迭代，推进监控报警有效性与智能化； 4、负责集群服务容量规划、服务管理与治理规划与产品研发迭代工作。
更新于 2025-04-28北京