小红书AI存储研发专家
任职要求
1. 本科及以上学历，3~5年AI&Data存储/引擎研发经验
2. 加分项：具备文件系统或高性能存储研发经验，如JuiceFS/Alluxio/CPFS/GPFS/Ceph/MinIO/对…工作职责
1. 协同AI平台与算法团队，面向AI大模型训练和多样化数据处理场景，研发云原生文件系统和缓存加速系统，为AI业务提供极致的存储解决方案并推动在业务侧落地。 2. 应对小红书超大规模多模态应用挑战，攻克单集群百亿级元信息、Tbps级高吞吐等行业技术难题，保障AI业务的安全、稳定和高效运行。 3. 持续进行系统架构优化与技术迭代，结合AI负载特征，实现数据智能调度、数据预取和缓存管理，不断优化I/O路径，有效提升GPU等算力资源利用率。
1、负责计算存储通道服务的数据面研发，在 CIPU、BlueField DPU、物理机 Host 等各类硬件平台中，构建计算产品访问存储产品的虚拟通道，通过DPU卸载、高性能软件架构、软硬件协同优化、与存储层协同优化等方法，持续提升通道服务的安全、性能、成本、灵活性、可观测可运维性，在超大规模部署中放大技术价值并沉淀新想法融入下一代CIPU、DPU 的需求定义和设计； 2、负责计算存储通道服务的管控面研发，在智算、通用计算、Serverless 计算等丰富的计算产品中，支持对多种 Serverless、多租的存储产品的访问管理（包括通道设备管理、访问控制、租户隔离、QoS 管理等等），构建统一灵活、高可用、大规模的中心管控服务，与数据面、计算端 Guest OS 和容器平台深度融合的单机管控链路，以及智能的数据分析链路； 3、深入学习和理解 AI 智算、数据湖仓、搜索推荐广告、云原生中间件等业务场景中的存储访问需求，与计算和存储产品团队协作，提供有竞争力的产品新功能和架构方案设计，并推动解决方案的落地；
1.参与 Connector 的数据传输面研发，利用高并发、RDMA、P2P、协程等关键技术，持续改进服务的性能、成本、灵活性、可观测、可运维等关键特性，在超大规模部署中放大技术价值并沉淀新想法融入下一代 AI 计算平台当中。 2.参与 AI 计算框架、业务平台的对接与技术支持，并在这个过程中实现 Connector 的应用价值。 3.深入学习和理解 AI 智算、数据湖仓、搜索推荐广告、云原生中间件等业务场景中的存储访问需求，与计算和存储产品团队协作，提供有竞争力的产品新功能和架构方案设计，并推动解决方案的落地。
1.负责模型预训练、微调、部署及推理过程中的数据准备、模型和数据加速、数据集存储及管理，为大模型提供高效稳定的多模态数据预处理能力，构建高质量的AI数据迭代链路。 2.探索AI Native的多模数据存储格式，支持AI数据高效存储、读取和分析，提升数据的使用价值。 3.跟进LLM、多模态大模型的前沿发展，探索数据如何更好驱动模型迭代。
1. 参与分布式存储产品的系统研发与优化工作，构建一流的数据基础设施，满足AI、机器学习、大数据对数据Infra不断增长的需求 2. 与团队共同推动技术创新，探索更加AI-native的数据生产与存储链路，落地具有行业影响力的业务成果