沐瞳【中台】资深数据仓库工程师
任职要求
1. 本科及以上学历;5年以上数据仓库,数据开发相关工作经验; 2. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 3. 熟练使用Hadoop,Hive和Spark,熟悉SQL、Java、Python等编程语言;熟悉使用flink构建实时数仓; 4. 善于沟通,良好的团队合作与协调沟通能力;对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。 5. 熟悉互联网大数据体系,有0-1数仓建设工作经验者优先。
工作职责
1. 负责游戏项目的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。
- 设计和开发大数据平台,包括数据仓库、数据湖、ETL流程、数据可视化和分析工具等。 - 针对不同的业务需求,制定数据处理和存储策略,确保数据的高效和可靠。 - 编写高质量的代码,实现数据的清洗、转换、加载和处理,保证数据的准确性和完整性。 - 与数据分析、业务人员和其他技术团队紧密合作,为他们提供数据支持和指导。 - 不断优化数据平台的性能和可靠性,处理大规模数据时能够有效地调优和优化。 - 掌握最新的大数据技术和发展趋势,不断学习和提高自己的技术水平。
1、负责网易集团财经数据中台的数仓规划与设计 2、完成相关原始数据采集、清洗、整理、去重和治理,保证数据及时性、完整性、一致性和准确性。 3、参与业务需求调研,根据业务需求设计数据仓库维度模型,并完成数据模型开发,沉淀数据指标。 4、持续改进优化ETL、分析处理等问题,对结构化的数据做数据分析; 5、对项目开发进度、代码质量进行管控、完成技术文档的沉淀。
1、搭建并完善游戏业务数据监控体系(如服务质量、响应时效、用户反馈等),定期输出分析报告,定位问题并提出改进建议; 2、通过用户行为、投诉热点、服务渠道等数据分析,识别影响用户体验的关键因素,推动服务流程优化; 3、支持游戏客服团队绩效考核,设计数据模型评估客服人员/KPI达成情况,辅助人力资源决策; 4、针对游戏版本更新、运营活动等场景,分析游戏客服咨询量波动原因,预判风险并制定应对方案; 5、与数据中台/技术团队协作,优化客服数据仓库、BI看板及自动化报表,提升数据易用性; 6、跨部门协同(产品、运营、HRBP),推动数据结论落地为业务动作,并跟踪效果。
1、数据资产管理平台开发与治理 构建企业级数据资产管理平台,构建数据清晰的血缘,支持高效溯源。 建立元数据管理、数据血缘追踪、质量监控与安全合规体系。 2、知识图谱构建与优化 从结构化/非结构化数据中提取实体与关系,构建行业知识图谱(如客户关系图谱)。 通过规则引擎、NLP模型持续优化图谱质量。 3、AI助理系统开发 集成大语言模型(LLM)与垂直知识库,开发智能问答、自然语言查询及自动化报表功能。 设计API/Web接口,支持业务用户通过自然语言调用数据服务(如“查询某产品的销售趋势”)。 搭建模型训练与部署框架,实现AI能力快速迭代。 4、数据安全合规与质量管理 建立数据质量指标(完整性、一致性、准确性),开发自动化检测与修复工具。 实现异常数据实时告警(如延迟、权限越权),并通过邮件/SMS/企业微信通知责任人。 5、平台性能与稳定性保障 优化Spark/Flink任务性能,提升高并发场景下的平台稳定性。 监控系统运行状态,设计容灾机制与自动化运维工具,降低故障率。