阿里云阿里云智能-对象存储数据湖技术专家-成都/杭州
任职要求
1、5年以上开发经验，精通 Java、rust开发，有大型项目全栈交付经验者优先。 2、掌握湖仓架构，熟悉 iceberg、hudi 等主流的湖仓系统，熟悉 AI 场景的新兴格式如 lance 等。掌握主流 AI 训练推理原理，有工业级项目落地实践经验者优先，持有阿里云ACA/ACP/ACE认证证书者优先。 3、了解主流云平台（如阿里云/AWS）架构体系，具备 Serverless 或微服务…
工作职责
1、负责基于 OSS 构建高性能、可扩展的 Iceberg 数据湖，支持 AI 场景下的结构化与半结构化数据管理。 2、负责多种存储格式的集成与优化，将多种列式存储格式深度集成至数据湖体系，开发高效向量数据读写、索引及查询能力。 3、负责 AI 数据管道性能调优，面向大模型训练、向量检索等AI负载，优化从 OSS 到计算引擎的数据I/O路径，提升吞吐与降低延迟。 4、负责跨团队协作与技术落地，与 AI 平台、存储、计算等团队紧密合作，推动湖格式技术在实际业务场景中的规模化应用。
1、负责蚂蚁全站数据研发平台Dataphin实时相关体系建设，包括通用+智能(流批一体，Codeless)研发平台，质量保障平台，支撑智能化商业决策和运营，让数据快速释放价值； 2、负责蚂蚁全站数据研发平台Dataphin基础设施相关体系建设，保障全站用户稳定，高效，安全进行数据生产建设； 3、负责蚂蚁集团受控加工平台的应用架构设计和系统实施，通过体系化并具有前瞻性的能力建设，确保研发时即受控保障、事前可灰度观测、事中可观测预警、事后可应急快恢，使得数据三板斧和数据SLA在蚂蚁数据域全面落地。
1、负责蚂蚁全站数据研发平台Dataphin实时相关体系建设，包括通用+智能(流批一体，Codeless)研发平台，质量保障平台，支撑智能化商业决策和运营，让数据快速释放价值； 2、负责蚂蚁全站数据研发平台Dataphin基础设施相关体系建设，保障全站用户稳定，高效，安全进行数据生产建设； 3、负责蚂蚁集团受控加工平台的应用架构设计和系统实施，通过体系化并具有前瞻性的能力建设，确保研发时即受控保障、事前可灰度观测、事中可观测预警、事后可应急快恢，使得数据三板斧和数据SLA在蚂蚁数据域全面落地。
岗位内容： 在自动驾驶领域，作为平台团队，支撑面向AI的海量数据的收集、高性能处理和检索管理。 设计、开发和维护业内领先的自研高性能的分布式大数据计算引擎，支持自动驾驶领域非结构化数据的高效处理； 负责自动驾驶领域大数据计算加工/机器学习推理链路的开发和维护，持续不断提升计算加工效率； 提供海量数据的存储与全生命周期管理，支撑海量数据的数据湖管理与向量化检索等能力。
1.负责腾讯云对象存储分布式缓存类产品研发工作； 2.参与大数据存储、AI存储等新兴领域的存储设计和分析工作； 3.参与元数据管理和KV Engine的优化和调优； 4.对于Hadoop、POSIX和S3协议进行优化。