阿里巴巴研究型实习生 - 资源三层解耦形态下的云原生数据库研究
任职要求
1、实现的原型系统及源码； 2、相关技术方案申请专…
工作职责
基于存储和计算分离的第一代云原生数据库，其CPU和内存资源依然强绑定，导致计算和内存资源不能实现按量付费。因此，本团队对三层解耦技术进行了探索和实现，完全分离数据库内的CPU，内存，存储资源，并构成三个独立的资源池，用户可弹性扩展任何一种资源，且只需为其动态消耗的资源买单。基于以上背景，本项目聚焦但不局限于以下关键问题的研究： 1、基于三层解耦形态的分布式事务机制。在资源三层解耦部署形态下，已有的分布式事务机制不再适用，需研究适用于三层解耦部署形态的高效分布式事务机制； 2、基于三层解耦形态的死锁检测机制。对于并发执行的事务，如何结合三层解耦技术来避免死锁的发生，以及如何尽早检测到死锁并打破死锁，以减少事务执行的等待时间； 3、探索结合机器学习的资源弹性扩缩容机制。如何结合机器学习的方法来对用户业务流量进行预测，并在数据库集群维度对资源进行调度和分配，在满足用户业务对数据库性能需求的同时，提升资源利用率并降低成本。
我们致力于优化云计算场景下的弹性计算服务（ECS）资源调度系统，通过算法创新解决动态资源分配、集群资源优化等核心问题。本岗位将深度参与资源调度算法的设计与实现，推动资源装箱效率提升、性能争用降低等关键技术突破，最终实现资源供给成本优化与整体资源利用率的显著提升。具体职责包括： 1. 研究并设计面向云计算场景的资源调度算法，解决海量算力需求下的资源分配效率问题； 2. 结合服务等级协议（SLA）要求，优化调度系统在成本、稳定性、性能等多目标约束下的决策机制； 3. 分析集群资源使用数据，建设资源画像，提出并实施资源利用率提升方案； 4. 实现算法原型，推动算法在实际生产环境中的落地与迭代； 5. 跟踪前沿技术动态，探索机器学习、强化学习等技术在资源调度领域的创新应用。
面向AI场景下数据库资源优化系统研发，具体职责包括： 1.设计基于深度强化学习（DRL）的CPU/GPU混合负载调度框架，构建基于负载管理器、资源调度器的动态资源分配模型，实现资源利用率与服务质量（QoS）的联合优化； 2.研发“资源预热+缓存预热+计算编排”混合架构，通过热点数据预测模型、计算节点池化技术及数据预热机制，突破对象存储（OSS）水平弹性的性能瓶颈； 3.基于Neon分支技术改进动态数据隔离机制，设计多分支场景下的共享数据访问优化策略，在零冗余存储前提下保障租户间、branch间安全隔离，同时提升多分支并发场景下的数据访问吞吐量。
研究领域： 人工智能 项目简介： 国际化业务知识更新频繁，本项目旨在解决低资源语言（如东南亚语言、德语、西班牙语）模型在学习新知识时遗忘旧知识的“灾难性遗忘”问题。通过持续学习，确保AI客服、AI搜索等应用能低成本、高效率地吸收新知识，始终保持信息的时效性和准确性。
基于开源的 Diffusion 图像和视频生成模型，构建基础推理和训练引擎，探索前沿的 AIGC 技术，具体职责包括： 1、加入魔搭社区 DiffSynth-Studio 等开源项目的开发，接入先进的图像和视频生成模型，为业界提供领先的推理和训练引擎基建。 2、基于丰富的开源模型生态，探索 AIGC 技术的全新能力，开展多元化的科研项目，包括但不限于图像生成的思维链、跨模态模型的能力集成、理解-生成统一架构模型等，发表高水平学术论文。 3、参与魔搭社区的运营活动，为新模型的开源提供技术支持，推动 AI 技术的普及推广。