希音Starrocks/CK运维
任职要求
熟悉 StarRocks、Clickhouse 等至少一种大数据系统原理及源码。 熟悉常见的 OLAP 引擎的优化原理。 具备…
工作职责
【】 打造业内领先的OLAP 引擎,基于 StarRocks和Clickhouse 提供查询分析能力,支撑希音内部核心业务线。 配合业务部门梳理业务流程和数据模型,对设计模型设计,存储选型进行建议和把关,高效支撑全球运营中心、履约等业务场景。 StarRocks/Clickhouse线上问题定位、线上SLA保障 参与 OLAP 集群的管理平台设计开发工作,实现高效集群运维/管理及诊断功能。
【核心职责】 1、平台设计与开发: 参与设计和开发基于 StarRocks 的实时数据仓库架构,负责集群的规划、部署、监控和性能调优。 2、数据模型建设: 深入理解电商业务(如交易、流量、用户、商品、供应链等),设计并构建高效的 StarRocks 表模型(明细模型、聚合模型、更新模型、主键模型),以支持低延迟的即席查询和多维分析。 3、数据接入与集成: 负责将来自不同数据源(如 Kafka(实时日志)、MySQL(业务库)、Hive/Spark(离线数仓)、Flink(实时计算)等)的数据高效、稳定地导入到 StarRocks 中。 4、性能优化: 持续监控和优化 StarRocks 集群性能,包括但不限于 SQL 查询优化、索引策略、分区分桶策略、物化视图设计与使用,解决线上慢查询问题。 5、服务与赋能: 为业务方、数据分析师和产品经理提供稳定、高效的查询服务,并编写技术文档和最佳实践,赋能业务团队自助进行数据分析。 6、技术攻关: 跟进社区发展,研究并引入 StarRocks 的新特性(如 Pipeline 执行引擎、存算分离、数据湖分析等),解决高并发、海量数据下的技术挑战。
1、负责 StarRocks/CK 管控平台的设计与开发, 支撑超大规模集群的生命周期管理; 2、负责StarRocks/CK的内核优化、复杂故障诊断、性能调优; 3、负责 StarRocks/CK 成本优化(资源利用率、冷热分层、存算分离架构选型等),持续降本增效; 4、负责 StarRocks / ClickHouse 稳定性建设; 5、AI 提效:探索 AI 工具与 Agent 在数据库运维、SQL 优化、故障诊断、代码开发等场景的应用落地,持续提升团队研发与运维效率; 6、业务支撑:配合业务方进行数据模型设计、存储选型、分区分桶策略把关,高效支撑全球运营中心、履约等业务场景落地。