饿了么饿了么-数据治理工程师-杭州
任职要求
1、熟悉Hadoop，Hive，Spark，Hologers，StarRocks，Flink，Kafka等大数据平台组件； 2、灵活运用SQL实现海量数据加工处理，具备良好的SQL性能调优能力； 3、有20人以上数仓团队数据治理经验，有…
工作职责
1、参与饿了么计算平台相关集群资源成本治理工作，在不影响业务的情况下，通过技术架构升级、治理工具建设、流程机制完善等手段提升集群运行效率，减少计算产品成本消耗； 2、参与饿了么计算平台相关集群资源运维管理工作，通过管理策略优化、完善监控、自动化运维等方式保障集群健康稳定运行，提升用户使用体验，提升资源管理效率； 3、不断提升数据治理水平，总结现状问题痛点、了解学习业界先进经验，持续迭代技术架构、解决方案，持续提升数据治理数字化水平和效率； 4、参与饿了么数据资产管理，推进资产生产加工流程及规范优化、资产管理平台工具完善；
1、负责网易集团财经数据中台的数仓规划与设计 2、完成相关原始数据采集、清洗、整理、去重和治理，保证数据及时性、完整性、一致性和准确性。 3、参与业务需求调研，根据业务需求设计数据仓库维度模型，并完成数据模型开发，沉淀数据指标。 4、持续改进优化ETL、分析处理等问题，对结构化的数据做数据分析； 5、对项目开发进度、代码质量进行管控、完成技术文档的沉淀。
参与蚂蚁湖仓数据建设平台的数据质量平台建设工作，依托数据治理方法论，借助 AI、运筹优化等手段，全面提升蚂蚁数据的质量。
1、主导财经业务相关主题的分布式数据仓库规划、设计、落地及运营； 2、主导财经数据资产公共层建设，从工具和效果上实现敏捷智能的目标； 3、深入了解业务，主动优化数据仓库实现数据治理与迭代闭环，不断提升数据质效。
1. 测试框架与工具开发 a. 负责 数据治理平台平台核心功能的测试用例设计、自动化测试脚本开发及测试框架搭建。 b. 基于大数据场景（如数据建模、任务调度、数据质量监控等）设计端到端测试方案。 2. 性能与稳定性测试 a. 针对数据处理流程（ETL、数据同步、任务调度）进行性能压测与瓶颈分析，保障高并发、大规模数据场景下的系统稳定性。 b. 设计并执行混沌测试、容灾测试等可靠性验证方案 3. 缺陷管理与质量保障 a. 使用缺陷跟踪工具记录、跟踪并推动问题修复，参与代码评审和测试覆盖率分析。 b. 协助产品团队优化数据开发流程，提升平台易用性与质量。 4. 技术协同与创新 ● 与研发、产品经理协作，参与需求评审、技术方案设计，提前识别潜在风险。 ● 探索 AI/ML 在测试中的应用（如自动生成测试用例、异常检测），推动测试效率提升。 ● 团队管理与协作 ● 团队建设：负责测试团队的人员管理、任务分配与绩效评估，制定团队目标并推动落地。 ● 流程优化：主导测试流程标准化（如测试用例管理、自动化测试策略），提升团队协作效率。 ● 技术指导：为团队成员提供技术培训与指导，推动团队技术能力提升。 ● 跨团队协调：与产品、研发、运维团队紧密合作，确保测试工作与业务目标对齐。 ● 资源规划：根据项目需求合理分配人力、工具和预算资源，保障测试工作的高效执行。