阿里云阿里云智能-加速计算多租实例产品专家-杭州/北京

随着AI大模型的兴起和各行业对于GPU算力需求的提升，各大云厂商均在提供多租户、serverless化的GPU算力供给以支持AI开发、训练、推理等负载。其中，由于大模型越来越多地被投入实际应用，大模型推理服务所占的比重也在不断上升。然而，考虑到大模型自身的新特性以及多租户serverless集群的复杂性，如何以更高的效率及更低的成本服务众多客户的模型，仍然是一个颇具技术挑战的问题，也是提升集群整体效率的关键。本项目旨在将微观的模型推理计算优化与宏观的集群层面资源、模型、请求等编排与调度进行结合，为多租户serverless推理服务降本增效。 与传统的推理服务产品形态相比，在多租户集群中部署大模型推理服务呈现一系列新特性，包括但不限于： 1、动态性：大模型推理由于其特有的自回归计算模式，其执行过程呈现高度的动态性，结合推理请求到达时间、输入输出长度等因素的不确定性，推理执行过程往往难以预测。因此对大模型推理服务进行资源供给和调度，以及提供SLO保障等就更具挑战； 2、多服务/多模型：多租集群会同时部署多个不同租户的推理服务；同时，在同一个推理服务内，也可能包含不同模型种类，如一个基模型的不同尺寸、不同精度版本等； 3、资源共享：大模型天然呈现资源密集的特性，这也使得在多租户集群中进行多服务、多模型资源共享和复用更具挑战，需要模型/请求调度层面的感知进行协同优化； 4、异构硬件/计算模式：多租户集群中往往具备多种加速器硬件类型，不同模型类型以及推理计算的不同阶段（aka prefill/decode）对异构硬件的喜好程度也各不相同，需要更具针对性的资源分配以提升资源利用效率。 本项目将着眼于以下几个层面技术，以解决上述特性带来的挑战，提升多租户serverless推理服务的效率： 1、平台层：定义多租户serverless推理服务的云产品形态，以及相应的计费模式、SLO等形态； 2、调度层：设计多租集群中的服务-模型-请求的统一调度架构，给出高可扩展的系统架构和高效的调度策略设计； 3、引擎层：归纳并实现上述产品和调度层面所需的引擎层次机制需求，例如高效的模型加载、切换、抢占，多模型共置，等等。

团队介绍：推荐架构团队支撑字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、剪映等推荐系统架构的设计和开发，保障系统的稳定和高可用，致力于抽象系统通用组件和服务，建设推荐中台、数据中台；关于在线服务，在这里你有机会参与大规模机器学习在线预估框架的研发与优化，也有机会参与模型训练与调度等相关问题的研究与突破，解决系统瓶颈，降低成本开销；如你对大数据感兴趣，在这里也有机会参与通用实时计算系统的开发、构建统一的推荐特征中台，为推荐业务实现先进的消重、计数、特征服务等；我们期待热爱技术的你加入，一起创造更多可能。 课题介绍： 1、课题背景 在人工智能技术高速发展的背景下，推荐系统作为信息过滤与个性化服务的核心，面临多重挑战： （1）数据爆炸与模型复杂化 用户行为序列数据量呈指数级增长（百亿至千亿级/日），存储需求从单用户长序列扩展至多模态数据（文本、视频、Embedding等），传统存储架构面临读写性能瓶颈与成本压力；推荐大模型对数据质量敏感度提升，数据分布异常可能导致模型效果显著下降，亟需系统性数据质量评估与改进方法。 （2）异构计算与多模态处理需求 随着生成式AI（GenAI）的普及，多模态特征处理成为刚需，传统基于CPU的大数据框架（如Spark/Hadoop）难以高效处理非结构化数据，GPU/DPU等异构计算资源利用率不足；数据处理流程与模型训练脱节，ETL环节耗时长，CPU-GPU协同效率低下，导致算法迭代周期延长。 在此背景下，以数据为中心的人工智能（DCAI）与异构计算技术成为破局关键： -DCAI 强调通过数据质量优化与自动化处理链路提升模型性能，而非单纯依赖模型改进； -异构计算 通过统一调度CPU、GPU、DPU等资源，加速多模态数据处理与模型训练，实现降本增效。 2、课题目标 （1）构建支持多模态数据的低成本高性能存储引擎：支持百亿级用户行为序列与多模态数据混合存储，实现读写延时与存储量解耦，满足PB级数据天级回溯需求； （2）设计自适应数据演化的Schema管理机制：动态兼容特征增删改，确保训推一致性，降低模型迭代中的数据迁移成本； （3）研发多模态数据异构计算框架：实现CPU-GPU-DPU协同计算，加速ETL、特征处理与模型训练，提升资源利用率30%以上； （4）建立数据质量与模型性能的量化评估体系：开发自动化工具链，通过强化学习优化数据清洗、增强与异常检测流程； （5）打造以Python为核心的开发者生态：提供灵活API与可视化工具，支持快速接入多模态数据处理与DCAI优化链路。 3、研究内容 （1）多模态存储引擎与编码优化 - 混合存储架构 - 分层设计：行为序列采用时间分区+LSM-Tree存储，多模态数据（如图像/文本）采用对象存储+元数据索引，结合CXL内存池化技术降低访问延迟； - 编码优化：针对用户行为序列设计变长Delta编码，多模态数据采用深度学习压缩模型（如VAE），压缩比提升50%以上。 -Schema动态演化 - 开发基于Protobuf的版本化Schema语言，支持特征字段热更新，兼容历史数据回溯训练。 （2）异构计算框架与资源调度 - 计算引擎整合 - 基于Ray构建统一数据湖，实现Spark/GPU算子混合编排，数据从ETL到训练Tensor化零拷贝传输； - 设计DPU加速层，将哈希计算、特征编码等操作卸载至智能网卡，释放CPU/GPU算力。 - 多模态处理优化 - 文本/视频数据采用GPU流水线预处理，利用NVIDIA RAPIDS加速特征提取； - Embedding数据通过量化感知训练（QAT） 减少显存占用，支持FP16/INT8混合精度计算。 （3）数据质量与DCAI自动化链路 - 质量评估体系 - 定义多维度指标：时空一致性（行为时序异常检测）、模态对齐度（图文匹配校验）、噪声容忍阈值（基于模型鲁棒性反推）。 - 自动化优化工具 - 开发强化学习代理，根据模型反馈自动选择数据清洗策略（如GAN-based数据增强 vs. 规则过滤）； - 构建因果推理模块，定位数据分布偏移对模型AUC下降的贡献度，生成根因分析报告。 （4）开发者生态与效能提升 - Python原生接口 - 提供声明式数据处理DSL，支持通过Python装饰器定义GPU加速算子（如@gpu_map）； - 集成Jupyter可视化工具，实时展示数据质量热力图与模型性能关联分析。 - 效能监控体系 - 建立资源-质量-效果三维监控看板，跟踪存储成本、数据处理吞吐量、模型AUC等核心指标。

团队介绍：推荐架构团队支撑字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、剪映等推荐系统架构的设计和开发，保障系统的稳定和高可用，致力于抽象系统通用组件和服务，建设推荐中台、数据中台；关于在线服务，在这里你有机会参与大规模机器学习在线预估框架的研发与优化，也有机会参与模型训练与调度等相关问题的研究与突破，解决系统瓶颈，降低成本开销；如你对大数据感兴趣，在这里也有机会参与通用实时计算系统的开发、构建统一的推荐特征中台，为推荐业务实现先进的消重、计数、特征服务等；我们期待热爱技术的你加入，一起创造更多可能。 课题介绍： 1、课题背景 在人工智能技术高速发展的背景下，推荐系统作为信息过滤与个性化服务的核心，面临多重挑战： （1）数据爆炸与模型复杂化 用户行为序列数据量呈指数级增长（百亿至千亿级/日），存储需求从单用户长序列扩展至多模态数据（文本、视频、Embedding等），传统存储架构面临读写性能瓶颈与成本压力；推荐大模型对数据质量敏感度提升，数据分布异常可能导致模型效果显著下降，亟需系统性数据质量评估与改进方法。 （2）异构计算与多模态处理需求 随着生成式AI（GenAI）的普及，多模态特征处理成为刚需，传统基于CPU的大数据框架（如Spark/Hadoop）难以高效处理非结构化数据，GPU/DPU等异构计算资源利用率不足；数据处理流程与模型训练脱节，ETL环节耗时长，CPU-GPU协同效率低下，导致算法迭代周期延长。 在此背景下，以数据为中心的人工智能（DCAI）与异构计算技术成为破局关键： -DCAI 强调通过数据质量优化与自动化处理链路提升模型性能，而非单纯依赖模型改进； -异构计算 通过统一调度CPU、GPU、DPU等资源，加速多模态数据处理与模型训练，实现降本增效。 2、课题目标 （1）构建支持多模态数据的低成本高性能存储引擎：支持百亿级用户行为序列与多模态数据混合存储，实现读写延时与存储量解耦，满足PB级数据天级回溯需求； （2）设计自适应数据演化的Schema管理机制：动态兼容特征增删改，确保训推一致性，降低模型迭代中的数据迁移成本； （3）研发多模态数据异构计算框架：实现CPU-GPU-DPU协同计算，加速ETL、特征处理与模型训练，提升资源利用率30%以上； （4）建立数据质量与模型性能的量化评估体系：开发自动化工具链，通过强化学习优化数据清洗、增强与异常检测流程； （5）打造以Python为核心的开发者生态：提供灵活API与可视化工具，支持快速接入多模态数据处理与DCAI优化链路。 3、研究内容 （1）多模态存储引擎与编码优化 - 混合存储架构 - 分层设计：行为序列采用时间分区+LSM-Tree存储，多模态数据（如图像/文本）采用对象存储+元数据索引，结合CXL内存池化技术降低访问延迟； - 编码优化：针对用户行为序列设计变长Delta编码，多模态数据采用深度学习压缩模型（如VAE），压缩比提升50%以上。 -Schema动态演化 - 开发基于Protobuf的版本化Schema语言，支持特征字段热更新，兼容历史数据回溯训练。 （2）异构计算框架与资源调度 - 计算引擎整合 - 基于Ray构建统一数据湖，实现Spark/GPU算子混合编排，数据从ETL到训练Tensor化零拷贝传输； - 设计DPU加速层，将哈希计算、特征编码等操作卸载至智能网卡，释放CPU/GPU算力。 - 多模态处理优化 - 文本/视频数据采用GPU流水线预处理，利用NVIDIA RAPIDS加速特征提取； - Embedding数据通过量化感知训练（QAT） 减少显存占用，支持FP16/INT8混合精度计算。 （3）数据质量与DCAI自动化链路 - 质量评估体系 - 定义多维度指标：时空一致性（行为时序异常检测）、模态对齐度（图文匹配校验）、噪声容忍阈值（基于模型鲁棒性反推）。 - 自动化优化工具 - 开发强化学习代理，根据模型反馈自动选择数据清洗策略（如GAN-based数据增强 vs. 规则过滤）； - 构建因果推理模块，定位数据分布偏移对模型AUC下降的贡献度，生成根因分析报告。 （4）开发者生态与效能提升 - Python原生接口 - 提供声明式数据处理DSL，支持通过Python装饰器定义GPU加速算子（如@gpu_map）； - 集成Jupyter可视化工具，实时展示数据质量热力图与模型性能关联分析。 - 效能监控体系 - 建立资源-质量-效果三维监控看板，跟踪存储成本、数据处理吞吐量、模型AUC等核心指标。

团队介绍：字节跳动推荐架构团队，负责字节跳动旗下相关产品的推荐系统架构的设计和开发，保障系统稳定和高可用；负责在线服务、离线数据流性能优化，解决系统瓶颈，降低成本开销；抽象系统通用组件和服务，建设推荐中台、数据中台，支撑新产品快速孵化以及为ToB赋能。 课题介绍： 1、课题背景 在人工智能技术高速发展的背景下，推荐系统作为信息过滤与个性化服务的核心，面临多重挑战： （1）数据爆炸与模型复杂化 用户行为序列数据量呈指数级增长（百亿至千亿级/日），存储需求从单用户长序列扩展至多模态数据（文本、视频、Embedding等），传统存储架构面临读写性能瓶颈与成本压力；推荐大模型对数据质量敏感度提升，数据分布异常可能导致模型效果显著下降，亟需系统性数据质量评估与改进方法。 （2）异构计算与多模态处理需求 随着生成式AI（GenAI）的普及，多模态特征处理成为刚需，传统基于CPU的大数据框架（如Spark/Hadoop）难以高效处理非结构化数据，GPU/DPU等异构计算资源利用率不足；数据处理流程与模型训练脱节，ETL环节耗时长，CPU-GPU协同效率低下，导致算法迭代周期延长。 在此背景下，以数据为中心的人工智能（DCAI）与异构计算技术成为破局关键： -DCAI 强调通过数据质量优化与自动化处理链路提升模型性能，而非单纯依赖模型改进； -异构计算 通过统一调度CPU、GPU、DPU等资源，加速多模态数据处理与模型训练，实现降本增效。 2、课题目标 （1）构建支持多模态数据的低成本高性能存储引擎：支持百亿级用户行为序列与多模态数据混合存储，实现读写延时与存储量解耦，满足PB级数据天级回溯需求； （2）设计自适应数据演化的Schema管理机制：动态兼容特征增删改，确保训推一致性，降低模型迭代中的数据迁移成本； （3）研发多模态数据异构计算框架：实现CPU-GPU-DPU协同计算，加速ETL、特征处理与模型训练，提升资源利用率30%以上； （4）建立数据质量与模型性能的量化评估体系：开发自动化工具链，通过强化学习优化数据清洗、增强与异常检测流程； （5）打造以Python为核心的开发者生态：提供灵活API与可视化工具，支持快速接入多模态数据处理与DCAI优化链路。 3、研究内容 （1）多模态存储引擎与编码优化 - 混合存储架构 - 分层设计：行为序列采用时间分区+LSM-Tree存储，多模态数据（如图像/文本）采用对象存储+元数据索引，结合CXL内存池化技术降低访问延迟； - 编码优化：针对用户行为序列设计变长Delta编码，多模态数据采用深度学习压缩模型（如VAE），压缩比提升50%以上。 -Schema动态演化 - 开发基于Protobuf的版本化Schema语言，支持特征字段热更新，兼容历史数据回溯训练。 （2）异构计算框架与资源调度 - 计算引擎整合 - 基于Ray构建统一数据湖，实现Spark/GPU算子混合编排，数据从ETL到训练Tensor化零拷贝传输； - 设计DPU加速层，将哈希计算、特征编码等操作卸载至智能网卡，释放CPU/GPU算力。 - 多模态处理优化 - 文本/视频数据采用GPU流水线预处理，利用NVIDIA RAPIDS加速特征提取； - Embedding数据通过量化感知训练（QAT） 减少显存占用，支持FP16/INT8混合精度计算。 （3）数据质量与DCAI自动化链路 - 质量评估体系 - 定义多维度指标：时空一致性（行为时序异常检测）、模态对齐度（图文匹配校验）、噪声容忍阈值（基于模型鲁棒性反推）。 - 自动化优化工具 - 开发强化学习代理，根据模型反馈自动选择数据清洗策略（如GAN-based数据增强 vs. 规则过滤）； - 构建因果推理模块，定位数据分布偏移对模型AUC下降的贡献度，生成根因分析报告。 （4）开发者生态与效能提升 - Python原生接口 - 提供声明式数据处理DSL，支持通过Python装饰器定义GPU加速算子（如@gpu_map）； - 集成Jupyter可视化工具，实时展示数据质量热力图与模型性能关联分析。 - 效能监控体系 - 建立资源-质量-效果三维监控看板，跟踪存储成本、数据处理吞吐量、模型AUC等核心指标。