阿里巴巴AI推理平台-大模型KVCache管控系统技术专家-杭州/北京
任职要求
1. 扎实的后端系统开发能力，熟悉 C++/Go/Python 中至少一种，熟悉高并发服务、分布式系统、RPC、异步编程、缓存系统与资源调度系统设计。 2. 熟悉分布式资源管控或调度系统，理解多租户隔离、资源配额、优先级调度、负载均衡、准入控制、熔断降级、故障恢复等工程问题。 3. 熟悉缓存系统或存储系统设计原理，理解缓存淘汰策略、热点识别、元数据管理、一致性、分层存储、数据迁移与容量治理，有 Redis / Memcached / Ceph / 3FS / Alluxio 等系统经验者优先。 4. 具备良好的性能分析和问题定位能力，熟悉 Linux 性能工具、Promet…
工作职责
1. 负责 LLM 推理场景下 KVCache 管控系统的架构设计与工程实现，建设面向大规模 GPU 集群的 KVCache 资源管理、容量规划、配额控制、生命周期管理与调度编排能力，提升 KVCache 资源利用率与系统稳定性。 2. 设计 KVCache 全局管控与调度策略，结合请求特征、模型类型、上下文长度、Prefix 复用关系、租户优先级与集群资源状态，实现 KVCache 的准入控制、淘汰策略、热点识别、跨实例复用、跨节点迁移与负载均衡。 3. 建设 KVCache 多级存储管控能力，统一管理 GPU HBM / CPU DRAM / NVMe SSD / 远端存储中的 Cache 资源，设计 Cache 分层、回收、预热、预取、降级与故障恢复机制，支撑长上下文、多轮对话、Agent 工作流等复杂推理场景。 4. 负责 KVCache 管控系统与主流推理引擎及调度系统的集成，围绕 vLLM / SGLang / TensorRT-LLM / RTP-LLM 等框架，抽象统一的 KVCache 元数据、状态同步、资源上报与控制接口，支撑异构推理后端的统一纳管。 5. 建设 KVCache 可观测性与稳定性体系，设计 Cache Hit Rate、复用收益、内存水位、碎片率、迁移延迟、Offload 延迟、淘汰次数、请求级 Cache 轨迹等核心指标，支持容量评估、异常诊断、策略调优与线上问题定位。 6. 参与大规模推理集群的端到端性能优化，分析 KVCache 管控策略对 TTFT、TPOT、吞吐、显存利用率、GPU 利用率和请求成功率的影响，持续优化系统在高并发、多租户、长上下文场景下的服务质量。
1. 负责 LLM 推理场景下 KVCache 管控系统的架构设计与工程实现，建设面向大规模 GPU 集群的 KVCache 资源管理、容量规划、配额控制、生命周期管理与调度编排能力，提升 KVCache 资源利用率与系统稳定性。 2. 设计 KVCache 全局管控与调度策略，结合请求特征、模型类型、上下文长度、Prefix 复用关系、租户优先级与集群资源状态，实现 KVCache 的准入控制、淘汰策略、热点识别、跨实例复用、跨节点迁移与负载均衡。 3. 建设 KVCache 多级存储管控能力，统一管理 GPU HBM / CPU DRAM / NVMe SSD / 远端存储中的 Cache 资源，设计 Cache 分层、回收、预热、预取、降级与故障恢复机制，支撑长上下文、多轮对话、Agent 工作流等复杂推理场景。 4. 负责 KVCache 管控系统与主流推理引擎及调度系统的集成，围绕 vLLM / SGLang / TensorRT-LLM / RTP-LLM 等框架，抽象统一的 KVCache 元数据、状态同步、资源上报与控制接口，支撑异构推理后端的统一纳管。 5. 建设 KVCache 可观测性与稳定性体系，设计 Cache Hit Rate、复用收益、内存水位、碎片率、迁移延迟、Offload 延迟、淘汰次数、请求级 Cache 轨迹等核心指标，支持容量评估、异常诊断、策略调优与线上问题定位。 6. 参与大规模推理集群的端到端性能优化，分析 KVCache 管控策略对 TTFT、TPOT、吞吐、显存利用率、GPU 利用率和请求成功率的影响，持续优化系统在高并发、多租户、长上下文场景下的服务质量。
1. KVCache 核心系统研发，负责 LLM 推理场景下 KVCache 的架构设计与工程实现，优化 KVCache 的内存管理、显存分配与生命周期调度策略，研究并实现 Prefix Cache、Radix Tree Cache 等高效缓存复用机制，提升 Cache Hit Rate。 2. 设计跨机、跨节点的分布式 KVCache 共享与迁移方案，实现 KVCache 在 GPU HBM / CPU DRAM / NVMe SSD 多级存储间的高效卸载（Offload）与加载，针对长上下文、多轮对话场景优化 KVCache 的存储与传输效率。 3. 推理性能优化，结合 Continuous Batching、PagedAttention、Chunked Prefill 等机制，协同优化 KVCache 调度策略，分析推理链路中 KVCache 相关的性能瓶颈，进行端到端性能优化，针对主流推理框架（vLLM / SGLang / TensorRT-LLM / RTP-LLM）进行 KVCache 模块的深度优化与定制。 4. 系统可靠性与可观测性建设，建设 KVCache 命中率、内存占用、调度延迟等核心指标的监控体系，保障大规模集群下 KVCache 服务的高可用与容错能力。
1. KVCache 核心系统研发，负责 LLM 推理场景下 KVCache 的架构设计与工程实现，优化 KVCache 的内存管理、显存分配与生命周期调度策略，研究并实现 Prefix Cache、Radix Tree Cache 等高效缓存复用机制，提升 Cache Hit Rate。 2. 设计跨机、跨节点的分布式 KVCache 共享与迁移方案，实现 KVCache 在 GPU HBM / CPU DRAM / NVMe SSD 多级存储间的高效卸载（Offload）与加载，针对长上下文、多轮对话场景优化 KVCache 的存储与传输效率。 3. 推理性能优化，结合 Continuous Batching、PagedAttention、Chunked Prefill 等机制，协同优化 KVCache 调度策略，分析推理链路中 KVCache 相关的性能瓶颈，进行端到端性能优化，针对主流推理框架（vLLM / SGLang / TensorRT-LLM / RTP-LLM）进行 KVCache 模块的深度优化与定制。 4. 系统可靠性与可观测性建设，建设 KVCache 命中率、内存占用、调度延迟等核心指标的监控体系，保障大规模集群下 KVCache 服务的高可用与容错能力。
本岗位隶属于我们是阿里巴巴大模型推理团队，负责生成式 AI 领域（主要是图像生成和LLM）的内部产品、训练推理服务系统建设和维护，为淘宝、天猫、聚划算、优酷、闲鱼等多个集团业务部门提供强有力的技术支撑和底层服务能力。 主要工作内容如下： 1. 负责设计开发高性能大模型推理引擎；结合流量调度、并行、Cache 等方法构建大规模分布式模型服务系统。 2. 融合业界前沿的算法工程理论，基于量化、动态剪枝等有损方法进行极致的模型加速和成本优化。 3. 结合数据、算法和工程，协同构建 AI Infra 平台，为生成式 AI 提供端到端解决方案，推动业务创新与实践应用。