商汤26届AI领航员-大装置-AI平台推理优化工程师

任职要求

1. 深度 GPU 性能工程经验
精通 CUDA 内核开发（共享内存 tiling、warp-level primitive、异步 copy）及 Nsight 性能剖析 。
2. 分布式通信与底层网络
熟悉 NCCL/HCCL 内部机制与调优 ，具备 RDMA 编程（libibverbs、GPUDirect RDMA、CAS 原子操作）实战经验 。
3. 大模型推理全栈理解
熟悉 vLLM / TensorRT-LLM / SGLang 或自研引擎内部机制 ，通晓 Transformer…

工作职责

我们正在构建全球最具性能密度的「AI推理引擎」 。不止追求单 GPU 峰值利用率，更着眼于在异构加速器上，为前沿大模型提供极致吞吐与最低延迟 。
在这里，你将与团队共同定义下一代生产级 AI 推理的计算原语与优化策略 ，支撑 1.6TB 级 MoE 大模型在生产环境中的百万级上下文落地 。  

岗位描述
1. 高性能内核开发
基于 CUDA/Triton/CUTLASS 开发面向生产的自定义 Attention 内核（支持 GQA/MQA/MLA 及 PagedAttention） ；设计多算子融合策略及端到端低精度（FP8/INT4）量化流水线 。  
2. 分布式推理与 PD 分离
设计基于 RDMA 的去中心化 Prefill/Decode（PD）分离运行时 ；编排多维并行策略（TP/PP/SP/EP），实现计算与通信的极致重叠（Overlap） 。  
3. 多层级 KV Cache 体系
构建 GPU HBM ➔ CPU DRAM ➔ 分布式 SSD 的三层缓存架构，支撑 80-140 个并发百万 Token 长会话 。  
4. 前沿推理范式落地
设计并优化 iteration-level 动态批处理（Continuous Batching）调度器与 Speculative Decoding（推测解码）引擎 。  
5. 性能剖析与自动化
基于 Nsight 工具链建立端到端性能剖析体系 ，利用 Roofline Model 定位瓶颈 ，构建代码合并触发的自动化内核 benchmark 管线 。