阿里云研究型实习生 - 基于 RDMA/CXL 技术提升分布式数据库性能

数据库的云原生化依赖高效的资源高效解耦，其包括以下两个方面：（1）物理解耦，如存储计算分离使得计算和存储可以独立伸缩。近年来，高速RDMA网络以及CXL内存互联技术的发展，为高速分布式内存池的实现带来了新的契机，其中一个亟需解决的重要问题如何将传统的数据库内存数据结构高效迁移到新型分布式内存池。（2）逻辑解耦。数据库系统中一些后台服务通常会消耗大量的计算与网络资源，如解压缩、加解密、日志合并树的数据重整，与前端业务负载竞争系统资源。如何实现这些服务的无状态化拆分，以及提高拆分服务之间可靠性、互操作性等，实现云上远端下推存在较大挑战。依托以上背景，本项目重点聚焦以下三个问题的研究： 1、探索数据库系统的关键内存数据结构，如hash表，B+tree等在分布式内存池下高效实现、以及数据一致性的轻量化维护问题； 2、HTAP系统负载下的本地/远端内存的高效调度。解决本地/远端内存资源面向不同负载下的最优化动态资源调度问题，包括AI驱动的资源预估、I/O调度、索引推荐等； 3、基于LSM-Tree（日志合并树）的存储引擎的高效逻辑解耦。研究分布式内存池下的共享内存表优化设计，LSM-Tree引擎中的数据重整（compaction）的无状态化的系统设计，利用云上既有资源，如对象存储、消息队列、函数计算等服务，进行数据重整操作的远端下推。

该职位专注于分布式大语言模型 (LLM) 推理系统的底层基础设施研究与探索，包括GPU和RDMA等。主要职责包括： 探索高性能、可扩展的分布式LLM推理引擎，以支持分布式LLM的高效部署； 基于KVCache，对大模型框架进行深入优化； 分析现有推理框架的性能瓶颈，提出并实施创新的优化技术； 参与与大模型相关的开源项目，如mooncake、vllm等。

1.研发新一代向量数据压缩存储格式； 2.设计基于JIT的索引快速预热机制； 3.优化磁盘-内存-GPU数据传输流水线； 4.开发分布式一致性内存管理组件。

基于多核架构的数据库性能优化研究，具体职责包括： 1. 参与基于多核架构MySQL,PostgreSQL数据库的优化与实现，降低数据同步延迟和提升内存访问效率； 2. 构建并测试多核架构下MySQL,PostgreSQL的性能,确保其在高并发、低延迟场景下的性能优势，并根据实验结果进行迭代优化； 3. 与团队成员紧密合作，共同探索多核架构下MySQL,PostgreSQL等数据库中的最佳实践，推动技术创新与应用； 4. 负责制定详细的性能测试计划，分析原型系统的性能瓶颈，并提出有效的优化策略。