Soul APP大数据开发工程师
任职要求
1、本科以上学历，计算机或相关专业，3年以上大数据离线研发工作经验； 2、熟练掌握Java或Scala实时数据开发编程； 3、熟悉Flink、Kafka、Hbase、Spark、HDFS、Yarn、Hive、Mapreduce原理，有过Clickho…
工作职责
1. 负责soul业务数仓建设，具体包括数据需求评估、数据链路设计和落地，基础数据的运维和保障工作。 2. 负责相关离线和实时数据链路的稳定性，保障核心数据流产出。 3. 主动探索数据在业务场景里的赋能场景，更好用数据推动业务发展。
1、负责公司游戏业务数据分析产品的底层大数据架构和开发，并基于大数据对业务提供深入有效的支持； 2、负责游戏业务数据的清洗、计算和存储。海量数据离线分析和实时分析系统的开发和维护； 3、满足业务方的数据需求，提供面向业务的OLAP、报表、数据提取等不同维度的数据服务； 4、基于Hadoop/Hive/Hbase进行数据的离线计算； 5、参与调研前沿技术。
1.负责后端架构设计与核心功能开发，保障系统的高可用与可扩展性； 2.承担数据ETL的开发与调度工作，保障数据链路的稳定与数据质量。
1. 大数据架构与数仓设计：负责时空大数据平台的架构设计与核心模块开发。主导高性能分布式数仓（Data Warehouse）的模型设计、ETL开发及任务调优。 2. 数据流水线开发：使用 Spark / PySpark（或 Scala）进行海量位置数据、轨迹数据及复杂地址数据的清洗、聚合与空间计算，确保数据管线的高可用与高性能。 3. 技术保障与运维：深度参与 Hadoop、Hive、HBase 组成的计算与存储集群的日常开发与调试，负责线上高并发/海量数据场景下的性能瓶颈分析与疑难问题排查。 4. 数据治理与标准落地：精通传统及非大数据环境下的数据治理技术。针对多源、异构的地址与空间数据，进行质量监控、数据标准化及血缘图谱建设。 5. 跨团队协作：与地图产品经理、空间算法科学家深度协同，将前沿的 AI/时空算法模型转化为工业级的大数据工程落地，共同攻坚业务难题。
1、深入理解业务、产品的方向和需求，能够搭建运营监控体系与完成开发； 2、负责业务域公用数据模型表的设计，能够对数据ETL进行设计、开发与性能优化； 3、负责业务指标的梳理、开发、验证、监控、系统对接及之后的维护工作； 4、为产品运营提供数据分析支持，包括网站数据分析、产品用户分析、行业分析等。