logo of mihoyo

米哈游AI 推理网关(智能路由)研发工程师

社招全职5年以上程序&技术类地点:上海状态:招聘

工作描述


Qualifications
1.本科及以上学历,计算机相关专业,5 年以上后端 / 网关研发经验,精通 GoPython,具备高并发服务设计与调优的生产经验;
2.深入理解 LLM 推理技术栈(vLLM / SGLang / TensorRT-LLM 等),了解 KV Cache、Continuous Batching、Prefix Cache 的机制与代价 
3.具备智能路由与调度系统的落地经验:负载均衡、动态分流、请求亲和、限流熔断降级,能基于推理侧真实指标做路由决策 熟悉 Kubernetes 生态与网关 / 服务网格(Envoy、APISIX、Higress、Kong 等其一);
4.具备安全合规意识,有 API Key 鉴权、租户隔离、限流降级落地经验

加分项
…
登录查看完整工作描述
微信扫码,1秒登录

包括英文材料
学历+
Go+
Python+
高并发+
大模型+
vLLM+
还有更多 •••
相关职位

logo of aligenie
社招4年以上

1. 扎实的系统编程能力,可选精通 C++/Python/Rust,熟悉高性能并发编程与内存管理。 2. 深入理解 KVCache 相关技术,PagedAttention / vAttention 等

更新于 2026-06-16北京|杭州
logo of aligenie
社招4年以上

1. 扎实的后端系统开发能力,熟悉 C++/Go/Python 中至少一种,熟悉高并发服务、分布式系统、RPC、异步编程、缓存系统与资源调度系统设计。 2. 熟悉分布式资源管控或调度系统,理解多租户隔

更新于 2026-06-16北京|杭州
logo of alibaba
社招4年以上技术类-开发

1. 必备技能 (1)扎实的 C++/Python 编程功底,具备模块化设计能力。 (2)大模型推理框架(vLLM/SGLang等)经验,理解模型推理原理。 (3)分布式系统开发经验,熟悉缓存、微服务

更新于 2026-08-07北京|杭州
logo of alibaba
社招2年以上

1. 计算机/人工智能相关专业硕士及以上学历,熟练掌握C++和Python编程语言,和软件工程面向对象设计(OOP,OOD)等相关技术, 有很好的抽象能力。 2. 掌握性能优化方法论,能够快速定位系统

更新于 2026-07-09北京|杭州|上海