网易高级/资深数仓工程师(网易云音乐)
任职要求
1、计算机相关专业本科及以上学历,3年以上数据研发领域经验; 2、有较为丰富的数仓设计&开发经验,具备离线/实时数据处理能力,有海量数据离线处理经验优先考虑; 3、熟悉Hadoop/Spark/Flink生态相关技术,具备一定的JAVA、Scala语言的开发能力,能够结合多技术栈的优势提出业务解决方案; 4、良好的业务理解力,能从业务视角看问题,从技术角度解决业务问题; 5、良好的逻辑思维性,有良好的抗压能力和自驱能力,结果导向。
工作职责
1、负责音乐离线数据仓库的研发,通过合理的数据架构,保障内外数据的准确性、一致性和稳定性,包括数据清洗、模型设计、数据治理及稳定性保障; 2、深入理解业务,通过对业务策略的洞察,收敛业务数据需求,提供系统性的解决方案并落地; 3、与数据分析师合作推动数据为产品运营赋能,通过技术创新让数据为业务发展带来价值。
大数据场景base深圳北京都OK 1.负责算法流量分配、前端页面迭代相关业务的数仓模型建设和设计;并根据需求变化和业务发展,持续优化模型; 2.结合公司相关配套数据产品,完成实际代码开发、部署,并对数据质量进行管理和优化; 3.构建自助分析数据资产,通过数据+产品,提供低成本的数据产品化能力;
1. 深入理解滴滴海外业务模式、流程和系统架构,和相关产品技术、业务运营高效沟通,设计合理的数据仓库架构。 2. 充分利用滴滴现有的各种数据仓库及反作弊处理平台,设计、开发和维护高效、可扩展的大数据处理系统,以支持安全反作弊业务的数据驱动决策和业务发展。设计并优化离线/实时数仓模型(如 ODS、DWD、DWS、ADS 分层),支持实时报表、监控和风控等场景。 3. 对多源异构数据(日志、事件消息、API、爬虫数据等)进行清洗、解析和结构化处理,提取关键业务信息。解决数据清洗中的 脏数据、格式混乱、缺失值、重复数据 等问题,提升数据质量。与数据开发、算法、业务团队协作,理解需求并构建高效的数据处理流程。 4. 跟踪大数据领域的新技术、新工具,不断探索并引入以提升团队的技术能力和项目效率。优化流式计算任务的 资源利用率(如 Flink 任务调优、Kafka 分区策略调整)。 5. 国际化安全反作弊技术团队其他开发工作。
1. 深入理解滴滴海外业务模式、流程和系统架构,和相关产品技术、业务运营高效沟通,设计合理的数据仓库架构。 2. 充分利用滴滴现有的各种数据仓库及反作弊处理平台,设计、开发和维护高效、可扩展的大数据处理系统,以支持安全反作弊业务的数据驱动决策和业务发展。设计并优化离线/实时数仓模型(如 ODS、DWD、DWS、ADS 分层),支持实时报表、监控和风控等场景。 3. 对多源异构数据(日志、事件消息、API、爬虫数据等)进行清洗、解析和结构化处理,提取关键业务信息。解决数据清洗中的 脏数据、格式混乱、缺失值、重复数据 等问题,提升数据质量。与数据开发、算法、业务团队协作,理解需求并构建高效的数据处理流程。 4. 跟踪大数据领域的新技术、新工具,不断探索并引入以提升团队的技术能力和项目效率。优化流式计算任务的 资源利用率(如 Flink 任务调优、Kafka 分区策略调整)。 5. 国际化安全反作弊技术团队其他开发工作。