影石数据湖开发工程师

任职要求

1、本科及以上学历，计算机/软件/数据相关专业，3年以上大数据/数据平台研发经验。
2、熟练掌握 Java/Scala/Python 中至少一种开发语言。
3、熟悉 Spark、Flink 等分布式计算框架及其运行原理。
4、熟悉 Iceberg、Hudi等数据湖技术中的至少一种，有生产实践经验。
5、熟悉 Kafka 等消息中间件及实时数据处理架构。
6、熟悉分布式存储、对象存储及数据湖存储架构。
7、熟悉 Docker、Kubernetes 等云原生技术优先。
8、有完整的数据治理实践经验，熟悉 Atlas / DataHub / Amundsen 等元数据与血缘工具，了解 DAMA、DCMM 等方法论。
9…

工作职责

1、负责企业级数据湖平台的设计、开发与运维，支撑海量数据存储与分析。
2、基于 Iceberg/Lance 构建湖仓一体架构，提升数据管理能力。
3、设计并实现数据全生命周期的加密方案（静态加密、传输加密、字段级加密），落地脱敏、分级分类、权限管控等安全机制，确保合规（GDPR / 等保 / 个保法）。
4、参与数据治理体系建设，包括不限于数据质量、数据血缘、数据生命周期等能力建设。
5、优化数据存储、计算性能及资源成本，保障平台稳定运行。
6、推动数据湖与 AI、数据分析等业务场景结合落地。