阿里云阿里云智能-大数据研发专家-元数据
任职要求
1. 本科及以上学历，计算机科学、软件工程或相关专业； 2. 3年以上分布式系统研发经验，具有扎实的C++、Java或Python编程能力； 3. 熟练掌握Linux环境下的编程； 4. 熟悉数据湖技术，如hudi、i…
工作职责
1. 负责设计和开发 MaxCompute 统一托管，多数据源的平台级能力，构建湖与仓、仓与库，多引擎、多存储的统一元数据服务； 2. 开发和维护 MaxCompute 支持异构数据源直接查询、跨数据源联合分析的能力； 3. 设计和实现大规模分布式系统，深度参与计算引擎与存储引擎的联合优化； 4. 与其他团队紧密合作，包括产品、测试和运维团队，确保软件开发流程的顺利进行； 5. 参与代码审查和团队技术分享活动，提高团队技术水平。
1. 一致性框架研发，面向计算、存储、大数据等阿里云云产品，提供诸如分布式锁、服务发现、元数据存储等分布式协调解决方案； 2. 面向一致性系统的测试和发布，涉及但不限于自动化测试，自动化部署，发布编排； 3. 运维支撑平台建设，全域范围内的女娲服务实例的运维，管控，调度，体系化建设数据采集以及可视化机制，具备全链路诊断分析能力。
负责云通信国内/国际基础产品功能、服务与资源体系的技术体系建设和需求开发 主要职责包括但不限于： 1、参与技术方案设计，收集、识别、分析客户需求，进行技术可行性分析和方案评审，选择合适的技术选型、技术架构、数据架构和开发流程； 2、基于技术方案的拆解，按照任务目标和产出规范，完成设计、编码开发和系统功能实现；对开发中和部署后的程序进行必要的维护和迭代，包括值班oncall、升级工单处置、bug排查、问题诊断、产品体验改善、性能和成本优化等 3、通过可复用能力的建设，不断提升团队研发效率和质量；
⁃ 解决千亿级元数据索引效率的问题，支撑海量文件的查询访问效率以及元数据扩展性问题，提供性能卓越扩展良好的元数据服务。 ⁃ 高效的blob存储格式，编写高质量、可扩展、高可用、性能卓越的存储底层核心模块，对模块质量负责。 ⁃ 负责性能IO链路，对小文件聚合、大文件切片、EC编码等核心功能负责。 ⁃ 基于业界主流的AI训练加速方案，打造符合蚂蚁特点的高性能AI存储/缓存产品，为大模型、海量多模态数据的高并发训练提供存储底座，为AI算力持续增长提供基础设施侧保障。 ⁃ 负责存储产品的长期技术演进及稳定性保障，对上层业务效果负责。
● 负责分布式存储引擎的全生命周期测试管理，制定测试计划、风险评估及资源协调，确保测试覆盖功能、性能、稳定性等核心目标 ● 分析并解决分布式存储引擎中的复杂问题，如分布式事务一致性、引擎性能瓶颈、元数据管理及容灾恢复等 ● 设计并主导存储系统（如分布式存储、文件系统、数据库存储等）的稳定性测试框架，提升测试效率与覆盖率 ● 协同质量、SRE、研发、高可用，主导并跟进落地数智域稳定性专项Action落地，识别关键极端风险并产出预防措施 人员要求： ● 6年以上分布式存储测试开发经验，熟悉存储引擎（如Ceph、HBase、RocksDB）的设计与实现 ● 扎实的代码能力，精通Python/Shell/Go/C++中至少一种语言，能够独立开发测试工具、脚本及自动化框架 ● 能够主导大型项目的整体测试工作，包括测试分析、测试用例落地、测试流程规范、测试进度管理、测试风险发现等 ● 良好的沟通与团队协作能力，能够跨部门推动问题解决 ● 具备大规模分布式存储系统（如PB级数据规模）的测试经验