
叠纸游戏资深大数据开发
任职要求
1、本科及以上学历,计算机、软件工程、数据分析或相关专业,5年以上大数据开发经验; 2、精通Java、Python等至少一门编程语言,扎实的代码功底和算法能力; 3、熟练掌握Hadoop、Hive、Spark、Flink、Kafka等大数据生态组件,有阿里云Maxc…
工作职责
1、负责离线和实时数据仓库的搭建与优化,保障数据的准确、完整和高效可用; 2、根据业务需求设计合理的数据模型,开发高效ETL流程,进行数据分层与数据治理; 3、跟进数据产品在业务场景中的落地,开发数据应用和分析工具,提升数据服务的易用性和价值; 4、负责大数据平台和任务的性能调优、解决各类技术难题,保障系统的稳定与高效运行; 5、深入理解游戏业务,对接业务部门,制定并实现复杂业务的数据解决方案。
1.负责大数据开发平台的设计与研发,包括开发IDE、任务调度、监控运维、元数据管理、adhoc查询等; 2.完善平台功能,优化用户使用体验; 3.负责线上问题的排查和解决,持续优化和提高系统能力。
负责 TapTap 基础数据建设(涵盖开发者运营、商店等业务方向),提供通用、稳定、丰富、高效的公共数据能力,提升数据支持业务的效率,探索数据的增量价值; 面向开发者运营、商店等业务方向,建设专题数据,提供丰富易用的数据服务,直接支持业务决策分析,赋能业务; 在整体数据建设和服务的过程中,落地埋点规范、质量保障规范,提升埋点质量和易用性,保障数据服务的数据质量和数据产出的稳定性。
1.平台与引擎研发: 深度参与全域数据集成平台及底层核心引擎的设计、开发与迭代,利用AI技术优化组件性能与稳定性,构建智能化、高可用的数据中台基座。 2.AI重塑工作流: 将AI深度融入日常研发全流程,在需求分析(如通过AI解析用户故事)、方案设计(AI生成与评审架构图)、代码开发(使用AI Copilot进行应用开发与单元测试)、故障排查(AI辅助日志分析与根因定位)以及文档生成等环节,形成稳定、可复用的“人机协作”研发工作流,显著提升交付效率与质量。 3.智能化需求支持: 参与用户需求调研与技术支持,探索并落地利用AI Agent或大模型来自动化处理常见数据集成问题,提升技术支持响应速度和用户满意度。 4.技术探索与创新: 追求极致,持续跟踪AI在数据工程领域(如Text-to-SQL数据集成、智能数据质量检测)的前沿技术,并推动其在产品中落地,构建业内领先的智能数据中台产品。
【核心职责】 1、平台设计与开发: 参与设计和开发基于 StarRocks 的实时数据仓库架构,负责集群的规划、部署、监控和性能调优。 2、数据模型建设: 深入理解电商业务(如交易、流量、用户、商品、供应链等),设计并构建高效的 StarRocks 表模型(明细模型、聚合模型、更新模型、主键模型),以支持低延迟的即席查询和多维分析。 3、数据接入与集成: 负责将来自不同数据源(如 Kafka(实时日志)、MySQL(业务库)、Hive/Spark(离线数仓)、Flink(实时计算)等)的数据高效、稳定地导入到 StarRocks 中。 4、性能优化: 持续监控和优化 StarRocks 集群性能,包括但不限于 SQL 查询优化、索引策略、分区分桶策略、物化视图设计与使用,解决线上慢查询问题。 5、服务与赋能: 为业务方、数据分析师和产品经理提供稳定、高效的查询服务,并编写技术文档和最佳实践,赋能业务团队自助进行数据分析。 6、技术攻关: 跟进社区发展,研究并引入 StarRocks 的新特性(如 Pipeline 执行引擎、存算分离、数据湖分析等),解决高并发、海量数据下的技术挑战。