logo of youzan

有赞大数据开发工程师(OLAP方向)(J10186)

社招全职3-5年地点:杭州状态:招聘

任职要求


基本要求:
1. 工作经验3~5年,本科学历及以上
2. 熟悉Linux操作系统,熟悉常用脚本语言ShellPython等;
3. 熟悉大数据开发框架,至少熟悉一个OLAP组件(ClickHouse/Kylin/Doris/Druid)。对于组件有实际的性能调优、BugFix、社区贡献者优先
4. 熟练JVM平台语言,包括JavaScala,对分布式系统有深刻理解,熟悉JVM原理,做过JVM调优者优先;
5. 有大规模分布式存储计算经验优先;
6. 责任心强,敢于挑战自我,有解决疑难问题的毅力和决心

成长建议:
1. 全面了解大数据常用组件及其原理,实际动手做一些小项目,加深理解
2. 深入学习设计模式,掌握架构设计方法论
3. 了解大数据在各个行业的产品和解决方案

工作职责


岗位职责:
1. 负责大数据基础组件&平台的开发和维护工作,保证系统的稳定、易用
2. 参与业务的架构设计,提升业务接入效率和使用规范

工作内容:
1. 负责大数据基础组件的优化和稳定性建设
2. 负责排查、定位、解决生产集群问题,与运维同学一起维护生产集群的稳定性,协助业务方一起使用好大数据平台;
3. 参与业务团队架构设计,优化大数据组件的使用方式
包括英文材料
学历+
Linux+
脚本+
Bash+
Python+
大数据+
开发框架+
OLAP+
ClickHouse+
Doris+
性能调优+
JVM+
Java+
Scala+
分布式系统+
设计模式+
系统设计+
相关职位

logo of bytedance
社招8HP51

1、负责字节跳动电商相关业务数据仓库的开发与优化; 2、基于Hive/Flink等平台建设数据仓库,实时数仓建设; 3、负责数据模型的设计,etl实施,etl性能优化以及相关技术问题的解决; 4、负责面向业务的olap,报表,数据提取工具等开发工作。

更新于 2020-04-27
logo of xpeng
社招

1.负责自动驾驶业务数据的数据采集、清洗、转换和加载(ETL)流程,构建和维护车端信号数据仓库体系和数据指标体系 2.支持C端用户和B端分析的各种数据需求 3.参与数据治理工作(如数据质量核查、元数据管理等) 建立监控和反馈指标,持续优化改进产品的架构及性能,保证PB级数仓的数据质量和平台稳定性

更新于 2025-06-04
logo of youzan
社招

我们是有赞的核心数据团队,主要负责商家后台数据中心的建设与运营。我们致力于打造业界领先的、基于语义层的统一数据服务平台(OneService),构建完善的指标管理体系,赋能商家精细化运营,提升数据驱动决策的效率。加入我们,你将有机会参与从0到1或从1到N构建企业级数据服务核心基础设施的过程。 岗位职责: 1. 负责统一数据服务平台(基于语义层)的设计、研发与持续优化,打造公司级标准、高效、易用的数据消费入口; 2. 负责指标中心/指标管理系统的规划与建设,建立规范化的指标生产、维护、管理流程与配套工具,保障指标口径统一与准确; 3. 提升平台数据服务能力,支持多样化的数据消费场景(如:BI报表、自助分析、数据API、运营活动等),赋能业务实现数据驱动,包括但不限于数据可视化产品,数据赋能运营等场景的设计和落地; 4. 持续优化数据平台的技术架构,提升系统稳定性、查询性能和用户体验,降低数据接入和使用成本; 5. 负责数据产品的开发及维护工作,与数据分析师、产品经理、业务方紧密合作,理解数据需求,将其转化为标准化的数据平台能力。 工作内容: 1. 负责商家数据中心的设计、开发与持续迭代优化(基于离线/实时数仓); 2. 深入参与OneService平台的设计与研发,包括但不限于语义层建模、查询引擎对接、API服务开发、权限管理等核心模块; 3. 负责指标维度管理系统的设计与实现,支持指标的定义、血缘、变更、生命周期管理等功能; 4. 基于Spark/Flink等计算引擎进行数据处理、加工与分析,构建高效、稳定的数据链路; 5. 应用OLAP技术(如Doris, ClickHouse, Kylin等)优化海量数据查询性能,并根据业务场景进行技术选型和实践; 6. 参与数据服务相关在线系统的架构设计与开发,保障服务的高可用和高性能。

更新于 2025-03-28
logo of tencent
社招2年以上CSIG技术

1.负责元宝业务的离线和实时数仓规划和建设,结合数据、技术与应用等多方特性,构建高可用、易扩展的数仓体系,高效满足业务用数诉求; 2.负责建立数仓与数据质量标准和规范,确定数据治理方案,并与内外部团队协作,推动落地实施,不断提升数据质量,确保数据及时、准确与稳定性; 3.不断优化数仓模型,抽象总结并沉淀通用方案与平台工具能力,提升研发与用户用数效率。

更新于 2025-08-01