小红书大模型MaaS推理资源调度系统工程师/专家
社招全职3-5年引擎地点:北京 | 上海 | 杭州状态:招聘
工作描述
任职要求 1、有分布式系统、云原生、资源调度或高性能服务治理经验。 2、熟悉 Kubernetes 调度体系、弹性伸缩、服务发现、流量治理等技术。 3、理解大模型推理链路,熟悉 GPU、显存、KV Cache、batching、Token 吞吐、TTFT/TPOT 等概念。 4、有 GPU 集群、MaaS 平台、模型服务平台或推理系统经验优先。 5、具备强指标意识,能够围绕 SLA、GPU 利用率/SMA、吞吐、延迟和成本持续优化系统。 加分项 1、熟悉 AIBrix、llm-d、vLLM、SGLang、KServe、Ray Serve 等推理框架或服务化体系。 2、有在线离线混部、弹性调度、算力资源池化、异构算力调度相关经验。 3、有大规…
登录查看完整工作描述
微信扫码,1秒登录
包括英文材料
分布式系统+
https://www.distributedsystemscourse.com/
The home page of a free online class in distributed systems.
https://www.youtube.com/watch?v=7VbL89mKK3M&list=PLOE1GTZ5ouRPbpTnrZ3Wqjamfwn_Q5Y9A
服务治理+
https://cloudnativecn.com/blog/istio-traffic-management-series-service-management-concept-theory/
通过阅读本文读者可以初步理解 Istio 流量治理的概念和相关知识框架。
https://juejin.cn/post/6844904006033080334
服务治理主要包括服务发现、负载均衡、限流、熔断、超时、重试、服务追踪等。我们今天要讲的,就是服务发现的内容。
Kubernetes+
https://kubernetes.io/docs/tutorials/kubernetes-basics/
This tutorial provides a walkthrough of the basics of the Kubernetes cluster orchestration system.
https://kubernetes.io/zh-cn/docs/tutorials/kubernetes-basics/
本教程介绍 Kubernetes 集群编排系统的基础知识。每个模块包含关于 Kubernetes 主要特性和概念的一些背景信息,还包括一个在线教程供你学习。
https://www.youtube.com/watch?v=s_o8dwzRlu4
Hands-On Kubernetes Tutorial | Learn Kubernetes in 1 Hour - Kubernetes Course for Beginners
https://www.youtube.com/watch?v=X48VuDVv0do
Full Kubernetes Tutorial | Kubernetes Course | Hands-on course with a lot of demos
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
还有更多 •••
相关职位
校招机器学习平台
任职要求 1、熟悉业界主流Dense、MOE大模型架构及主要特点,能识别出模型效果及主要使用场景,支持用户大模型的选型和使用需求; 2、了解至少一种大模型服务推理部署框架,如vLLM、SGLang、D
更新于 2026-08-15北京|上海
校招引擎
任职要求 1、熟悉业界主流Dense、MOE大模型架构及主要特点,能识别出模型效果及主要使用场景,支持用户大模型的选型和使用需求; 2、了解至少一种大模型服务推理部署框架,如vLLM、SGLang、D
更新于 2026-08-15北京|上海
社招引擎
任职要求 1、熟悉 Go / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。 2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相
更新于 2026-08-15北京|上海|杭州