小红书数据仓库高级专家(离线方向)
任职要求
本科及以上学历,5年以内的数据仓库相关研发经验,对数据和业务敏感,具备良好的数据模型设计能力 熟悉数据仓库各类模型建模理论,了解数据仓库数据流和架构 精通大数据技术,如Hive,Spark,Flink等,并具备数…
工作职责
快速响应业务数据需求,提供数据解决方案 负责离线数据仓库某个主题域的设计、建设和优化,确保数据的准确性和完整性 根据业务需求,设计和实现数据模型,包括星型模型和雪花模型等,适应业务的快速迭代 负责ETL流程的开发和维护,确保业务需求实现的效率和交付质量 参与数据仓库的系统优化和计算性能提升

1、能够负责金融信贷业务板块实时数据仓库与离线数据仓库的需求管理、架构设计、模型建设和数据研发工作,保证数据服务的稳定性和准确性; 2、能够对数据仓库团队初/中级人员在数据仓库建模、数据治理、金融业务等方向进行培养; 3、能够通过数据资产治理、数据需求交付时效提升等方式实现数据仓库工作的降本提效。 4、能够与上下游紧密协作,为金融商信贷业分析、业务决策、业务运营、数据产品等提供有效数据支撑,对信贷业务赋能; 5、能够与行业先进的数据技术对标,采用最佳技术实践解决业务数据需求痛点。
1、面向字节跳动旗下相关产品线,为业务指标建设提供支持和指导; 2、建设PB级数据仓库,参与负责数据仓库设计、建模、研发等; 3、建设ETL数据管道及自动化的ETL数据管道系统; 4、建设离线、在线、实时相结合的指标数据处理专家系统。
1. 负责高德业务的离线与实时数据仓库的构建和数据架构设计,包括数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决,指标体系建设与维护等; 2. 提高高德数仓团队架构能力和数据治理能力,不断提升需求支持效率、数据开发效率、提升数据质量、降低数据使用成本; 3. 支撑高德业务数据和运营需求,不断提升用数的能力和数据分析能力,深入业务,理解并合理抽象业务需求,发挥数据价值,提高运营运转效率,建设数字化运营能力。
1. 大数据平台架构设计与开发 - 负责构建、优化和维护企业级大数据平台,包括数据采集、存储、处理、分析及可视化系统; - 设计高可用、高并发、可扩展的大数据架构,支持海量数据的实时/离线处理与分析。 - 设计高质量的数据模型,确保模型规范易用 2. 数据处理与分析 - 基于阿里大数据开发规范,构建数据仓库和数据湖,开发离线和实时ETL任务。 - 利用统计分析/机器学习/深度学习算法挖掘数据洞察,支持运营和产品决策和行动 3. 问题排查与系统性能优化 - 及时诊断、定位、解决离线和实时等各类计算任务的问题; - 对长耗时计算任务进行性能优化 4. 技术研究与创新 - 善于技术钻研,跟踪大数据领域前沿技术,推动技术落地与应用; - 推动AI技术在数据研发域的效能提升和产品创新 5. 数据安全与合规 - 设计并实施数据安全策略,确保数据隐私与合规性。