蚂蚁金服蚂蚁集团-蚂蚁数据湖存储专家-杭州/上海【数据平台】
任职要求
- 精通c++，熟悉python，java, 至少具备5年以上一线研发经验。 - 精通至少一种分布式编程领域的主流产品和解决方案，有大型自研分布式存储系统经验者优先。 - 了解KV引擎原理、对常见的数据索引组织形态如btree、LSM有一定的认识。 - 对Linux操作系统有全面认识，熟练Linux操作。 优先相关经验： - 具备Linux内核及底层IO实现相关经验优先。 - Alluxio, Ceph、SeaWeeds、Dynamo、Minio等社区的Contributor优先。 - 有用户态网络RDMA、用户态文件系统SPDK等相关经验者优先。
工作职责
⁃ 解决千亿级元数据索引效率的问题，支撑海量文件的查询访问效率以及元数据扩展性问题，提供性能卓越扩展良好的元数据服务。 ⁃ 高效的blob存储格式，编写高质量、可扩展、高可用、性能卓越的存储底层核心模块，对模块质量负责。 ⁃ 负责性能IO链路，对小文件聚合、大文件切片、EC编码等核心功能负责。 ⁃ 基于业界主流的AI训练加速方案，打造符合蚂蚁特点的高性能AI存储/缓存产品，为大模型、海量多模态数据的高并发训练提供存储底座，为AI算力持续增长提供基础设施侧保障。 ⁃ 负责存储产品的长期技术演进及稳定性保障，对上层业务效果负责。
1、负责蚂蚁全站数据研发平台Dataphin实时相关体系建设，包括通用+智能(流批一体，Codeless)研发平台，质量保障平台，支撑智能化商业决策和运营，让数据快速释放价值； 2、负责蚂蚁全站数据研发平台Dataphin基础设施相关体系建设，保障全站用户稳定，高效，安全进行数据生产建设； 3、负责蚂蚁集团受控加工平台的应用架构设计和系统实施，通过体系化并具有前瞻性的能力建设，确保研发时即受控保障、事前可灰度观测、事中可观测预警、事后可应急快恢，使得数据三板斧和数据SLA在蚂蚁数据域全面落地。
1、负责蚂蚁全站数据研发平台Dataphin实时相关体系建设，包括通用+智能(流批一体，Codeless)研发平台，质量保障平台，支撑智能化商业决策和运营，让数据快速释放价值； 2、负责蚂蚁全站数据研发平台Dataphin基础设施相关体系建设，保障全站用户稳定，高效，安全进行数据生产建设； 3、负责蚂蚁集团受控加工平台的应用架构设计和系统实施，通过体系化并具有前瞻性的能力建设，确保研发时即受控保障、事前可灰度观测、事中可观测预警、事后可应急快恢，使得数据三板斧和数据SLA在蚂蚁数据域全面落地。
1． 多模态数据接入与实时处理： - 设计、开发与维护高效、稳定、可扩展的数据接入服务，负责摄传感器数据、机器人状态数据、任务层抽象数据等多维态异构数据的实时采集、解析与初步处理。 2． 数据管道与平台核心开发： - 开发支持从机器人端到云/边缘数据中心的数据传输链路，并支持将训练好的模型部署反馈数据回流至数据平台。 - 设计、实现和优化大规模机器人数据的存储、传输、批处理与流处理的数据管道。 - 构建和维护核心数据平台基础设施，包括数据湖/仓、消息队列、流处理引擎、任务调度系统等 - 开发自动化工具和框架，提升数据管道的开发效率、部署速度、监控能力和运维可靠性。 - 确保数据流能无缝支持模型训练、仿真验证、在线评估等环节的数据供给与结果回流。 3． 数据平台工具链支持： - 为下游的数据标注、数据挖掘分析、模型训练等环节提供稳定、高效的数据访问接口和服务。 - 与算法团队协作，理解其对数据流的需求（如数据格式、频率、查询要求），并提供技术支持。
参与蚂蚁湖仓数据建设平台的数据质量平台建设工作，依托数据治理方法论，借助 AI、运筹优化等手段，全面提升蚂蚁数据的质量。