得物【数据平台】大数据存储研发专家
任职要求
1、【工程能力】扎实的计算机基础和算法数据结构功底，精通Java语言，如并发编程和JVM、常见设计模式，追求高标准的工程质量，具备优秀的Debug/Profiling能力； 2、【领域能力】在大数据存储领域2年以上的研发经验，大数据领域5年以上研发经验，有研发过HDFS…
工作职责
1、【数据通道】负责大数据通道Tunnel服务的建设 2、【存储引擎】HDFS、Alluxio、JuiceFS等大数据存储系统的内核研发，跟进社区版本、改进性能、提升稳定性、定制新功能； 3、【业务支撑】负责排查、定位、解决生产集群问题，与运维同学一起维护生产集群的稳定性，协助业务方一起使用好大数据平台； 4、【平台规划】参与规划公司存储平台的技术演技，打造高稳定性、高性能、低成本的存储平台。
1. 深入理解基于NAND的固态硬盘（SSD)，基于SCM介质的Persistent Memory (PMEM)的原理，架构，控制器/固件实现，以及相应主机端驱动和操作系统IO软件栈的架构和实现，针对阿里云业务场景，架构 / 设计 / 开发相关产品，满足阿里数据中心对于新型SSD和PMEM的需求。 2. 深入理解存储业务应用，对分布式文件系统、块存储、对象存储、文件存储、以及大数据平台进行深入分析，了解阿里业务情况与用户需求，制定低成本，高性能的存储软硬件技术和产品的发展路线。 3. 与工业界、学术界密切接触，跟进新研究、开发状态，结合阿里业务发展，规划未来阿里存储软硬件产品，以及相应软硬件架构的路线图，推进存储平台的标准化，发表文章和专利，树立国际影响力。 4. 与服务器架构团队密切配合，规划机型，并落地针对块存储/对象存储/冷存储/大数据存储等各类软硬件产品。
1. 深入理解基于NAND的固态硬盘（Solid State Drive）的固件架构和代码实现，以及NVMe驱动（内核态，用户态），Linux block IO layer的架构和实现, 基于标准NVM'e或是Zoned-Name-Space（ZNS）接口开发全闪存软硬一体存储方案，满足阿里云数据中心技术演进需要。 2. 深入理解非易失性内存（Persistent Memory）的原理，架构，控制器/固件和主机端软件实现，针对阿里云场景开发相关产品，满足阿里云业务对于Persistent Memory产品的需求。 3. 深入理解存储业务应用，对分布式文件系统，块存储，对象存储，文件存储，以及大数据平台进行深入分析，了解阿里业务情况与用户需求，制高性能，低成本存储软硬件技术和产品的发展路线。 4. 与服务器架构团队密切配合，规划机型，并落地针对块存储/对象存储/冷存储/大数据存储等各类软硬件产品。
1、负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施； 2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护； 3、与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。
1、负责AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，与算法团队和IT基础设施团队紧密合作，提出大模型训练和优化数据规模、数据类型、数据结构等建议，确保架构有效实施； 2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，针对大模型场景、数据类型、数据规模具有高扩展性，以支持大模型数据集持续迭代，实现高质量数据集沉淀，确保数据安全和隐私保护； 3、与算法团队紧密协作，抽象研发诉求，落地为便捷实用的的平台能力，提升整个团队的工作效率和数据处理能力。