阿里云阿里云智能-AI Infra推理优化专家-杭州
任职要求
1. 扎实的专业基础与经验：计算机、人工智能或相关专业，5年以上AI大模型推理系统或性能优化方向工作经验，具备扎实的计算机体系结构知识和大模型技术理解。 2. 出色的工程与编程能力：精通C++/Python，熟练使用主流推理框架（如vLLM、SGLang、TensorRT-LLM）及性能分析工具，具备独立完成高性能模块开发与调优的能力。 3. 丰富的优化实战经验：在大模型推理、算子开发、模型压缩/量化、分布式部署与调度等方面有实际项目经验，熟悉GPU/AI加速库（如cuBLAS、cuDNN、Cutlass）及并行通信技术（如NVLink、模型/流水线并行）。 4. 系统性技术认知：深入理解深度学习算法原理与AI部…
工作职责
1. 主导大模型推理性能优化：通过算子优化、模型压缩/量化/稀疏化、推理引擎开发及分布式系统设计等技术手段，全面提升大模型在GPU/PPU等异构硬件上的推理速度、系统效率与部署性价比。 2. 开展软硬协同的深度调优：针对不同架构和规模的AI加速硬件（如GPU、专用AI芯片），对KV Cache管理、内存调度、计算图优化等核心模块进行定制化性能调优，突破算力与访存瓶颈。 3. 支撑多模态与前沿模型架构落地：参与大模型推理系统的核心模块研发，支持Transformer、MoE、Diffusion、LLM、VLM等多种架构的高性能推理，并与算法、产品及业务团队紧密协作，实现端到端场景优化。 4. 构建高性能AI基础设施：基于软硬件协同理念，打造业界优秀的AI推理底座，通过融合模型算法与底层硬件特性，释放组合优化潜力，形成显著的性能与成本优势。 5. 追踪和引领技术前沿：持续关注大模型推理领域的新研究成果与开源生态，推动技术创新与工程落地，发掘软硬结合的技术创新，强化技术壁垒与商业竞争力。
岗位简介 加入我们，你将负责自动驾驶大模型从实验室到车端落地的关键一环——构建高吞吐、低延迟的推理服务平台。你会接触到业界最前沿的推理引擎（TensorRT、SGLang、vLLM）、KV Cache 共享与 P/D 分离架构，以及面向多模态大模型（VLM）的异构推理优化，直接影响自动驾驶系统的实时感知与决策能力。 推理服务化平台建设：参与构建高可用的模型推理服务平台，支持 LLM / VLM 等模型的服务化部署、弹性扩缩容与多租户隔离。 推理引擎深度优化：基于 TensorRT、TorchScript、SGLang、vLLM 等框架进行推理性能优化，探索 INT8/FP8 量化、算子融合、动态 Batch 等加速手段。 KV Cache 与显存管理：参与设计高效的 KV Cache 管理策略（如 Mooncake / LMCache 方案），支持长上下文场景下的显存高效利用与跨实例共享。 P/D 分离与推理架构：参与 Prefill-Decode 分离架构的设计与实现，优化首 token 延迟与整体吞吐，支撑自动驾驶场景下的实时交互需求。 端云协同推理：探索车端（Thor / Orin 等）与云端协同推理方案，参与模型轻量化、蒸馏与边缘部署优化。
我们是谁？ 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现厘米级高精地图、实时三维重建、多模态感知等核心技术的引擎，持续突破自动驾驶、AR导航、智慧交通等领域的技术边界。 团队gihub主页：https://github.com/amap-cvlab 为何加入我们？ 挑战世界级技术难题，追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 岗位职责： 我们在构建面向具身智能与交互式世界模型的下一代推理基础设施：支持多模态流式输入（视频/传感器/地图）、实时闭环输出（动作/轨迹/场景状态），在端云一体部署下实现确定性低延迟、可规模化吞吐与可持续的成本效率。你将负责推理加速基础框架与关键性能机制建设，打通“模型—引擎—硬件—调度—观测”的全链路。 你将负责 1) 推理基础框架与运行时 ● 设计并实现端云一体推理框架：统一模型加载、版本管理、热更新、灰度与回滚能力 ● 建设流式推理 pipeline：ingest → preprocess/encode → predict/plan → control，支持异步与背压 ● 推理引擎集成与改造：vLLM / TensorRT-LLM / SGLang / TGI（云端），TensorRT / ONNX Runtime / TVM / NPU SDK（端侧） 2) 实时调度与性能关键路径 ● Prefill/Decode 分离调度（如适用）、长度分桶、连续 batching、尾延迟治理（P99/P999） ● KV cache 管理：paged/block、prefix/prompt cache、逐出策略、显存碎片治理 ● 多机多卡并行与通信：TP/PP/EP（MoE），NVLink/IB/RDMA 等链路优化 ● 投机解码/并行解码（Speculative/Medusa 等）在业务场景的落地与收益闭环 3) 量化与算子/Kernel 优化 ● 建立 profiling 体系：算子画像（attention/GEMM/视觉编码/采样解码等）、输入分布、性能回归基线 ● 分层量化策略：FP8/INT8/INT4 与 activation-aware 量化，质量回归与灰度上线 ● CUDA/Triton kernel、算子融合、内存与流水并行优化；端到端 latency 优化而非单点指标 4) 可观测性与可靠性 ● 建立实时推理指标体系：E2E latency、jitter、FPS/Hz、丢帧率、功耗/温控降频、OOM/重试等 ● 帧级/样本级 tracing，故障定位、过载保护、降级与安全回退路径（端侧尤重）"
职位概述：负责公司大规模 AI 推理集群的设计、建设与优化，支撑模型在线服务（LLM / CV / 推荐等）的高性能、低延迟与高可用运行。你将深度参与从模型部署到系统调优的全链路基础设施建设。 * 负责 AI 推理集群（GPU/CPU）的架构设计与落地，包括资源调度、服务部署、弹性扩缩容等 * 搭建和维护模型推理服务框架（如 SGlang、TensorRT、vLLM 等） * 优化推理性能（延迟、吞吐、成本），包括： * 模型量化（INT8/FP16/FP8） * Kernel 优化 / CUDA 调优 * Batch 策略 / KV Cache 优化（LLM场景） * 构建高可用推理服务体系（灰度发布、A/B、自动回滚） * 设计和实现推理调度系统（多模型、多租户、优先级控制） * 与算法团队协作，将模型高效部署上线并持续优化 * 构建监控与观测体系（QPS、Latency、GPU 利用率等） * 推进推理成本优化（算力利用率、Spot实例、混部等）
为了更好地提升城市即时配送的效率与体验，2017年，美团启动了无人机配送服务的探索，通过科技创新推动履约工具变革，加快建设空地协同的本地即时配送网络。目前，美团已初步完成了自主飞行无人机、智能化调度系统及高效率运营体系的研发建设工作，由此打造了一个服务于多场景、多天候的城市低空物流解决方案。 在该岗位中您将负责： 1、推理框架研发：参与构建与优化高性能分布式 AI 推理引擎，支持大模型在多卡、多机环境下的高效分布式部署与高效通信； 2、分布式任务调度：参与设计与实现面向大模型推理的高效任务调度算法。针对 Prefill与 Decoding阶段的不同资源需求，协助研发 PD 分离架构下的请求流转与精细化调度； 3、全局负载均衡：协助构建多节点、多实例集群的负载均衡策略。基于请求长度预测、全局 KV Cache 缓存命中率以及运行时显存状态，实现智能流量分发，避免集群局部热点与雪崩； 4、弹性伸缩与容错：参与大规模分布式推理集群的健康度监控，协同开发故障自动检测与动态隔离机制，提升高并发在线服务（LLM-as-a-Service）的可用性（SLA）； 5、性能剖析与调优：协助排查高并发场景下，由网络延迟、长尾请求（Tail Latency）、线程锁竞争或集合通信（NCCL）瓶颈导致的全局吞吐跌落； 6.主动探索并运用各类AI工具优化日常工作流程，积极推动AI在无人机业务中的落地实践。