阿里巴巴AI推理平台-多模态推理研发工程师-大模型推理团队
任职要求
1、本科及以上学历，具备扎实的机器学习、深度学习与概率统计理论基础，对底层原理有深入理解；
2、熟悉Flow matching类模型或者多模态语言模型相关技术栈并有深入的研究或项目经验；
3、熟练掌握torch，至少熟悉一种业界常见的Flow matching类模型或者多模态…工作职责
1、负责视频图像生成、多模态语言类模型的推理引擎和服务框架建设，为百炼和广泛的阿里业务线提供高效、稳定、低延迟的模型推理能力。我们建设、开源且同时在内部使用的开源推理引擎包括： LLM类：https://github.com/alibaba/rtp-llm Diffusion类：https://github.com/modelscope/DiffSynth-Engine 2、负责上述推理引擎开发与性能优化，包括高性能CUDA算子开发与融合、混合精度与量化推理、显存生命周期管理，以及Tensor Parallelism等分布式并行策略在多模态模型上的设计与实现，持续提升推理吞吐与延迟指标。 3、负责多模态推理服务框架的架构设计与开发，包括多阶段模型pipeline的请求编排与调度、异构计算资源的混布与隔离、continuous batching与流式推理、多租户资源管理与弹性伸缩，构建高可用、高吞吐的在线推理服务体系。 4、工作地点：北京、杭州，未来会开放「上海」工作地点，现阶段支持员工根据团队安排部分时间在上海办公，详情可与hr或面试官沟通。
1、多模态推理工作流架构，设计并实现多阶段分布式推理工作流，支持视觉/文本/音频等多模态内容生成任务，负责大模型服务的端到端开发与部署，包括模型集成、API封装及异构资源调度优化； 2、AIOPS平台建设与协作提效，构建面向大模型业务的全生命周期AIOPS平台，覆盖开发、测试、监控全流程，建设标准化工具链与自动化流程，落地跨团队高效协作范式，加速业务迭代与成果转化； 3、Agent应用开发，支持TOC多模态AIGC任务的编排计算，利用Agent能力辅助用户进行复杂视频生成等。
● 作为核心技术负责人，主导多模态生成模型（视频/图像/语言）推理引擎与服务框架的技术方向与架构演进，服务百炼及阿里各业务线。相关开源项目：rtp-llm、DiffSynth-Engine。 ● 主导推理引擎关键技术攻坚：高性能CUDA/Triton算子开发与融合优化、量化推理方案设计、显存调度策略、TP/PP/EP等分布式并行方案在多模态场景的选型与落地。能够针对新模型架构快速制定优化路线图。 ● 主导推理服务框架架构设计：多阶段异构pipeline编排与调度、异构资源混布与隔离、continuous batching与流式推理、多租户弹性伸缩。具备将单点优化串联为端到端系统性提升的架构能力。
1. KVCache 核心系统研发，负责 LLM 推理场景下 KVCache 的架构设计与工程实现，优化 KVCache 的内存管理、显存分配与生命周期调度策略，研究并实现 Prefix Cache、Radix Tree Cache 等高效缓存复用机制，提升 Cache Hit Rate。 2. 设计跨机、跨节点的分布式 KVCache 共享与迁移方案，实现 KVCache 在 GPU HBM / CPU DRAM / NVMe SSD 多级存储间的高效卸载（Offload）与加载，针对长上下文、多轮对话场景优化 KVCache 的存储与传输效率。 3. 推理性能优化，结合 Continuous Batching、PagedAttention、Chunked Prefill 等机制，协同优化 KVCache 调度策略，分析推理链路中 KVCache 相关的性能瓶颈，进行端到端性能优化，针对主流推理框架（vLLM / SGLang / TensorRT-LLM / RTP-LLM）进行 KVCache 模块的深度优化与定制。 4. 系统可靠性与可观测性建设，建设 KVCache 命中率、内存占用、调度延迟等核心指标的监控体系，保障大规模集群下 KVCache 服务的高可用与容错能力。
1. 负责 LLM 推理场景下 KVCache 管控系统的架构设计与工程实现，建设面向大规模 GPU 集群的 KVCache 资源管理、容量规划、配额控制、生命周期管理与调度编排能力，提升 KVCache 资源利用率与系统稳定性。 2. 设计 KVCache 全局管控与调度策略，结合请求特征、模型类型、上下文长度、Prefix 复用关系、租户优先级与集群资源状态，实现 KVCache 的准入控制、淘汰策略、热点识别、跨实例复用、跨节点迁移与负载均衡。 3. 建设 KVCache 多级存储管控能力，统一管理 GPU HBM / CPU DRAM / NVMe SSD / 远端存储中的 Cache 资源，设计 Cache 分层、回收、预热、预取、降级与故障恢复机制，支撑长上下文、多轮对话、Agent 工作流等复杂推理场景。 4. 负责 KVCache 管控系统与主流推理引擎及调度系统的集成，围绕 vLLM / SGLang / TensorRT-LLM / RTP-LLM 等框架，抽象统一的 KVCache 元数据、状态同步、资源上报与控制接口，支撑异构推理后端的统一纳管。 5. 建设 KVCache 可观测性与稳定性体系，设计 Cache Hit Rate、复用收益、内存水位、碎片率、迁移延迟、Offload 延迟、淘汰次数、请求级 Cache 轨迹等核心指标，支持容量评估、异常诊断、策略调优与线上问题定位。 6. 参与大规模推理集群的端到端性能优化，分析 KVCache 管控策略对 TTFT、TPOT、吞吐、显存利用率、GPU 利用率和请求成功率的影响，持续优化系统在高并发、多租户、长上下文场景下的服务质量。