得物【数据平台】大数据存储研发专家
任职要求
1、【工程能力】扎实的计算机基础和算法数据结构功底，精通Java语言，如并发编程和JVM、常见设计模式，追求高标准的工程质量，具备优秀的Debug/Profiling能力； 2、【领域能力】在大数据存储领域2年以上的研发经验，大数据领域5年以上研发经验，有研发过HDFS、Alluxio、JuiceFS或类似分布式存储系统者优先，向社区贡献过Patch 者优先，并有大规模存储系统实践经验； 3、【以技为本】对技术有热情，愿意不断尝试新技术和业务挑战，具备主人翁精神和团队精神、良好的沟通协调能力，有责任感、结果导向、较强的推动执行落地能力。
工作职责
1、【数据通道】负责大数据通道Tunnel服务的建设 2、【存储引擎】HDFS、Alluxio、JuiceFS等大数据存储系统的内核研发，跟进社区版本、改进性能、提升稳定性、定制新功能； 3、【业务支撑】负责排查、定位、解决生产集群问题，与运维同学一起维护生产集群的稳定性，协助业务方一起使用好大数据平台； 4、【平台规划】参与规划公司存储平台的技术演技，打造高稳定性、高性能、低成本的存储平台。
1. 深入理解基于NAND的固态硬盘（Solid State Drive）的固件架构和代码实现，以及NVMe驱动（内核态，用户态），Linux block IO layer的架构和实现, 基于标准NVM'e或是Zoned-Name-Space（ZNS）接口开发全闪存软硬一体存储方案，满足阿里云数据中心技术演进需要。 2. 深入理解非易失性内存（Persistent Memory）的原理，架构，控制器/固件和主机端软件实现，针对阿里云场景开发相关产品，满足阿里云业务对于Persistent Memory产品的需求。 3. 深入理解存储业务应用，对分布式文件系统，块存储，对象存储，文件存储，以及大数据平台进行深入分析，了解阿里业务情况与用户需求，制高性能，低成本存储软硬件技术和产品的发展路线。 4. 与服务器架构团队密切配合，规划机型，并落地针对块存储/对象存储/冷存储/大数据存储等各类软硬件产品。
1、负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施； 2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护； 3、与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。
- 负责设计高效、可扩展的大数据处理系统架构，确保能够支持海量数据存储与分析。 - 参与或主导重构知识图谱、画像平台的建设工作，利用大数据技术为不同业务场景提供高效准确的用户理解、供给理解能力。 - 负责数据管理等平台研发，包括数据管理、数据分发等，用工具化、平台化的能力协助业务提高数据流转效率；
【核心技术研发】主导数据湖格式引擎（Iceberg/Hudi/Delta Lake/Paimon）内核开发与性能调优，构建支持批流一体与高效增量处理的技术体系； 【业务支撑】主导生产集群疑难问题诊断与根因分析，协同运维保障平台高可用性，提供业务方全链路大数据平台使用支持； 【平台规划】参与计算平台技术架构演进设计，提升湖仓一体能力，基于云原生IAAS或自建IAAS构建高可靠、高性能、低成本的计算基础设施；