唯品会高级数据仓库工程师

任职要求

1、本科及以上学历，计算机、数学、统计学等相关专业优先
2、3年以上数据仓库或大数据开发经验,精通SQL，有复杂SQL性能调优经验
3、熟练掌握Spark，了解其原理及优化手段
4、熟悉至少一种OLAP引擎（StarRocks/CK），了解其存储原理和性能优化方…

工作职责

高级数据仓库工程师

团队介绍
我们是唯品会实验平台团队，面向全公司提供实验分流服务，并维护一套完整的实验平台产品，支持实验的创建、编辑、管理以及数据分析。实验数据分析工具同时支持离线和实时数据查询。


1、负责实验平台数据仓库的架构设计与开发，支撑实验数据分析工具的高效运行
2、维护离线数据链路：
基于公司中央数仓DWD层数据资产表，使用Spark构建实验指标的ETL预计算任务
基于StarRocks/ClickHouse即时查询引擎，通过明细数据+实验进组信息表+公共维度表提供灵活的实验分析服务
使用Bitmap、BSI等技术手段对查询进行性能优化
3、维护实时数据链路：
负责30分钟近实时批处理链路的开发维护
基于Flink构建分钟级实时实验效果数据链路
持续优化数据仓库的性能、稳定性和成本