字节跳动大数据开发工程师-开放平台
任职要求
1、熟悉大数据相关技术:Kafka/Flink/Hadoop/Druid/HBase/Hive 等; 2、熟练使用 Java、Go、Python语言中的一种或者多种; 3、具备数据库系统理论知识,掌握主流数据库管理和应用,精通SQL; 4、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法; 5、三年以上大数据开发经验,有高性能分布式平台开发经验,有相关行业经验优先。
工作职责
1、负责开放平台垂直业务的离线与实时数据仓库的构建; 2、深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 3、与数据产品、挖掘团队深度协作,致力于数据赋能业务; 4、负责数据仓库团队规划建设,打造行业领先的数据仓库团队,发挥数据价值; 5、负责需求的沟通与数据开发项目管理。
团队介绍:抖音开放平台团队是在“激发创造、丰富生活”的使命下,为更好的连接人与服务,满足多场景的用户需求而成立。团队一手肩负着合理开放抖音产品能力与数据,并做好管控,一手负责维护小程序等工具。面对多样需求,赋能更多合作方,连接更多外部优质服务、商品、内容,助力抖音各业务,更好满足用户需求,实现业务目标。 欢迎加入我们,你的每一行代码都会影响亿级用户,实现的每一个功能都会被亿级用户使用,解决的每一个 bug 都会改善亿级用户的体验。 1、主要负责客户端/服务端产品质量相关或业务线测试与工具开发工作; 2、深度参与产品研发项目,协同产品和研发团队高质量交付产品; 3、日常项目线下测试与线上质量分析; 4、参与质量体系规划和建设; 5、参与开发效率工具和保证技术项目质量。
1 系统设计与架构:主导业务系统的架构设计,针对业务需求制定技术架构方案,保证系统的扩展性、高性能与高可用性。同时,负责对现有系统进行性能优化和架构升级。2 功能开发与代码实现:产品需求开发,包括详细设计、编码、单元测试、集成测试等,确保系统功能的实现和交付。3 性能优化与安全保障:对后端系统进行性能监控和分析,以及SRE相关工作。负责系统的安全防护工作,保障系统数据安全和业务安全。4 技术选型与前沿探索:推进新技术的调研和落地,技术难题攻坚与优化。
1. 数据指标体系搭建:深挖数据价值,构建和维护车端信号数据仓库体系和数据指标体系,为算法和数据闭环提供PB级共享平台和框架支持;负责核心数据指标体系(包括业务分类、生产状态、功能指标等)的搭建、监控与运营;快速输出并不断沉淀标准化的产品数据体系,让业务的数据化运营更加高效、便捷; 2. 数据治理:梳理上下游的数据资产,制定及推广数据标准(如研发规范、质量规范、保障规范)和治理流程,确保数据准 确性、完整性和一致性。 3. 数据管理:负责元数据管理、数据质量检查、数据分级管理等系统的设计、开发及应用,提升数据易用性、可用性及稳定性; 4. 业务团队数据需求的研发支撑:如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等;