商汤26届AI领航员-大装置-AI平台推理优化工程师
任职要求
1. 深度 GPU 性能工程经验 精通 CUDA 内核开发（共享内存 tiling、warp-level primitive、异步 copy）及 Nsight 性能剖析 。 2. 分布式通信与底层网络 熟悉 NCCL/HCCL 内部机制与调优 ，具备 RDMA 编程（libibverbs、GPUDirect RDMA、CAS 原子操作）实战经验 。 3. 大模型推理全栈理解 熟悉 vLLM / TensorRT-LLM / SGLang 或自研引擎内部机制 ，通晓 Transformer…
工作职责
我们正在构建全球最具性能密度的「AI推理引擎」 。不止追求单 GPU 峰值利用率，更着眼于在异构加速器上，为前沿大模型提供极致吞吐与最低延迟 。 在这里，你将与团队共同定义下一代生产级 AI 推理的计算原语与优化策略 ，支撑 1.6TB 级 MoE 大模型在生产环境中的百万级上下文落地 。 岗位描述 1. 高性能内核开发 基于 CUDA/Triton/CUTLASS 开发面向生产的自定义 Attention 内核（支持 GQA/MQA/MLA 及 PagedAttention） ；设计多算子融合策略及端到端低精度（FP8/INT4）量化流水线 。 2. 分布式推理与 PD 分离 设计基于 RDMA 的去中心化 Prefill/Decode（PD）分离运行时 ；编排多维并行策略（TP/PP/SP/EP），实现计算与通信的极致重叠（Overlap） 。 3. 多层级 KV Cache 体系 构建 GPU HBM ➔ CPU DRAM ➔ 分布式 SSD 的三层缓存架构，支撑 80-140 个并发百万 Token 长会话 。 4. 前沿推理范式落地 设计并优化 iteration-level 动态批处理（Continuous Batching）调度器与 Speculative Decoding（推测解码）引擎 。 5. 性能剖析与自动化 基于 Nsight 工具链建立端到端性能剖析体系 ，利用 Roofline Model 定位瓶颈 ，构建代码合并触发的自动化内核 benchmark 管线 。
大装置智能云，支撑从云基础设施到大模型服务的完整产品体系。 欢迎加入测试开发团队，与我们一起打造下一代 AI 基础设施质量标准。 参与商汤大装置智能云核心产品的质量保障，包括： 1. 云平台方向（Cloud） · 云服务、容器平台（K8s）、网络/存储服务的功能与稳定性测试 · 自动化测试、接口测试、性能测试、系统级测试 2. 算力平台方向（Compute） · 多集群 GPU/NPU 算力池、调度平台的测试开发 · 压测、稳定性测试、异常场景验证 3. 大模型平台方向（AI Infra / MaaS） · 大模型推理、训练、评估平台的测试 · 模型性能测试、多模态模型验证、推理链路端到端自动化 4. 测试自动化，CI/CD 方向 · 测试框架、测试工具开发 · CI/CD 构建链路优化与集成 我们会根据你的能力与兴趣匹配到最合适的产品线。
1. 参与MaaS平台的功能测试、接口测试、自动化测试体系建设； 2. 参与设计并实现模型推理、训练、评估等流程的自动化验证机制； 3. 参与搭建端到端测试框架，提升测试效率与覆盖率； 4. 与平台研发、算法、运维等团队紧密协作，推动产品质量持续提升； 5. 深度参与模型性能测试与混沌测试，评估系统在高负载与异常场景下的稳定性； 6. 支持 CI/CD 流水线集成测试脚本，保障版本交付质量。
注意：该岗位需要提前实习，实习满2个月后，公司会安排实习转正答辩，答辩通过即有机会获得校招offer。 关键词：云原生（Docker、K8s）、公有云、私有云、混合云、集群 1. 负责开发集群容器管理平台等云原生开发项目； 2. 调研云原生最新和未来发展方向，推动产品和技术架构的演进； 3. 负责设计公有云、私有云及混合云方案，包括基础设施、微服务架构等方案的规划及平台部署。
核心亮点 1. 技术驱动，产品落地： 参与从0到1的大模型商业化应用开发，将前沿AI技术转化为有价值的B端解决方案。 2. 深度实践，拒绝纸上谈兵： 你不仅是产品的“规划师”，更是“实干家”，需动手实践，与研发团队共同攻坚。 3. 快速成长，专家路径： 在大模型与B端业务的交叉领域，成为具备深度技术理解力与商业洞察力的复合型产品专家。 工作职责 1. 大模型平台产品建设： 深入参与大模型应用开发平台从0到1的全过程。通过用户研究与数据分析定义产品功能，与工程师紧密合作，动手完成原型设计，推动产品迭代上线。 2. B端AI Agent解决方案落地： 负责AI Agent的核心逻辑设计与搭建，动手配置意图识别、工具调用（Function Calling）、RAG等关键模块。建立效果评估体系，通过数据驱动持续调优，提升业务表现。 3. 前沿技术探索与应用： 追踪大模型领域的前沿技术，进行快速PoC验证，将技术洞察转化为产品创新，驱动产品的长期竞争力。