logo of kuaishou

快手大数据运维开发工程师/专家

社招全职3年以上D7209地点:北京状态:招聘

任职要求


1、大学本科及以上学历,计算机或者相关专业,3年以上经验均可;
2、 熟悉Hadoop生态圈各组件基本原理以及使用(包括但不限于HdfsYarnHbaseKafkaHiveClickhouse);
3、具备扎实的编程能力,掌握至少一种脚本语言(ShellPerlPython等),熟悉Java等开发语言者优先,熟悉常用算法数据结构;
4、Linux操作系统基础扎实,对操作系统原理有一定了解;
5、具有良好的抗压能力,较强的故障分析排查能力,有很好的技术敏感度和风险识别能力。
符合以下条件优先:
1、有大规模大数据服务集群(包括但不限于HdfsYarnHbaseKafkaHiveClickhouse)维护经验,对运维体系建设有自己的见解;
2、有Aiops开发经验,了解常用算法

工作职责


1、负责公司数万节点大数据集群的各项运维管理工作,保障集群服务的高可用性运行;
2、负责超大规模集群服务运维管理平台的设计与研发工作,保障集群服务版本高速迭代以及变更的风险控制;
3、负责集群服务的监控报警体系规划与产品研发迭代,推进监控报警有效性与智能化;
4、负责集群服务容量规划、服务管理与治理规划与产品研发迭代工作。
包括英文材料
学历+
Hadoop+
HDFS+
Yarn+
HBase+
Kafka+
Hive+
ClickHouse+
脚本+
Bash+
Perl+
Python+
Java+
算法+
数据结构+
Linux+
相关职位

logo of kuaishou
社招3年以上D7209

1、参与快手大数据运维产品建设,包括大数据计算引擎运维平台与业务控制台开发落地,保障引擎运维效率以及提升业务使用计算引擎易用性; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、为团队引入创新的技术、创新的解决方案,用创新的思路解决问题。

更新于 2025-03-07
logo of xiaohongshu
社招1年以上后端开发

小红书基础设施网络平台致力于实现网络监管控的平台化,自动化,智能化。建设多场景、高可用、高性能可观测系统。覆盖设备基础监控,流量分析,云网络,拨测,内网质量等多种场景。

logo of tencent
社招5年以上腾讯云技术

1.负责腾讯云大数据基础运维和客户问题解决,基于腾讯云提供的EMR、Elasticsearch、TCHouse产品,解决客户在产品使用过程中遇到的问题,为客户业务提供最佳服务体验; 2.负责报障大数据产品服务稳定性,包括全局数智化监控、服务架构容灾、容量管理等基础运维能力建设,保障大数据服务SLA; 3.负责运维标准流程规范制定,建设大数据产品运维标准、大数据产品规范化变更流程和大数据组件可观测性标准等; 4.参与智能化运维AIOps,对标互联网SRE业界优秀经验,基于自研运维平台,实现智能化运维,提升运维效率。

更新于 2025-08-05
logo of ctrip
社招5年以上技术团队AI &

1.负责离线和实时数据仓库各层(如ODS、DWD、DWS、ADS)的模型设计、开发与优化,支撑数据分析和业务应用; 2.负责集团财务数据分析系统的数仓开发及报表开发; 3.独立完成复杂业务逻辑的数据ETL开发、任务调度与运维监控,保障数据加工流程的准确性和稳定性; 4.建立并监控数据质量规则,主动发现、跟踪并解决数据质量问题,确保数据的可靠性和可信度。

更新于 2025-09-08