饿了么饿了么-数据治理工程师-杭州
社招全职2年以上技术类-数据地点：杭州状态：招聘
任职要求
1、熟悉Hadoop，Hive，Spark，Hologers，StarRocks，Flink，Kafka等大数据平台组件； 2、灵活运用SQL实现海量数据加工处理，具备良好的SQL性能调优能力； 3、有20人以上数仓团队数据治理经验，有…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
1、参与饿了么计算平台相关集群资源成本治理工作，在不影响业务的情况下，通过技术架构升级、治理工具建设、流程机制完善等手段提升集群运行效率，减少计算产品成本消耗； 2、参与饿了么计算平台相关集群资源运维管理工作，通过管理策略优化、完善监控、自动化运维等方式保障集群健康稳定运行，提升用户使用体验，提升资源管理效率； 3、不断提升数据治理水平，总结现状问题痛点、了解学习业界先进经验，持续迭代技术架构、解决方案，持续提升数据治理数字化水平和效率； 4、参与饿了么数据资产管理，推进资产生产加工流程及规范优化、资产管理平台工具完善；
包括英文材料
Hadoop+
https://www.runoob.com/w3cnote/hadoop-tutorial.html
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。
[英文] Hadoop Tutorial
https://www.tutorialspoint.com/hadoop/index.htm
Hadoop is an open-source framework that allows to store and process big data in a distributed environment across clusters of computers using simple programming models.
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
StarRocks+
https://docs.starrocks.io/docs/quick_start/
These Quick Start guides will help you get going with a small StarRocks environment.
https://itnext.io/introduction-to-starrocks-a-new-modern-analytical-database-1db2177d26e1
Recently, I had the opportunity to explore StarRocks which is the new kid in the block when talking about massive scale databases which are able to handle petabytes of data.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
还有更多 •••
相关职位
社招5-10年网易职能
1、负责网易集团财经数据中台的数仓规划与设计 2、完成相关原始数据采集、清洗、整理、去重和治理，保证数据及时性、完整性、一致性和准确性。 3、参与业务需求调研，根据业务需求设计数据仓库维度模型，并完成数据模型开发，沉淀数据指标。 4、持续改进优化ETL、分析处理等问题，对结构化的数据做数据分析； 5、对项目开发进度、代码质量进行管控、完成技术文档的沉淀。
更新于 2025-10-31杭州
社招3年以上技术-开发
参与蚂蚁湖仓数据建设平台的数据质量平台建设工作，依托数据治理方法论，借助 AI、运筹优化等手段，全面提升蚂蚁数据的质量。
更新于 2025-04-25杭州
社招5年以上A01882
1、主导财经业务相关主题的分布式数据仓库规划、设计、落地及运营； 2、主导财经数据资产公共层建设，从工具和效果上实现敏捷智能的目标； 3、深入了解业务，主动优化数据仓库实现数据治理与迭代闭环，不断提升数据质效。
更新于 2023-09-15杭州
社招3年以上技术类-数据
1、负责蚂蚁支付线数据体系和解决方案建设，赋能业务数字化运营，提升运营效率，保障数据的质量和稳定性； 2、负责业务领域核心数据体系的规划设计。在数据技术上，能结合业界技术探索数据服务的增量。在数据化运营和数据能力产品化上，制定数据技术和服务的策略。包括用户标签体系、数据智能化和自动化体系和实时数据体系的建设； 3、规划设计数据服务工具，提升数据研发的工作效率，搭建数据服务的工具/产品，赋能业务同学和业务产品，灵活支撑业务的创新和探索，让数据价值更浸透； 4、负责数据质量、稳定性等数据管理，数据内部共享融通的数据平台，让数据标准更规范、数据获取更高效。
更新于 2026-01-22杭州|成都