logo of xiaohongshu

小红书大模型MaaS推理资源调度系统工程师/专家

社招全职3-5年引擎地点:北京 | 上海 | 杭州状态:招聘

工作描述


任职要求
1、有分布式系统、云原生、资源调度或高性能服务治理经验。
2、熟悉 Kubernetes 调度体系、弹性伸缩、服务发现、流量治理等技术。
3、理解大模型推理链路,熟悉 GPU、显存、KV Cache、batching、Token 吞吐、TTFT/TPOT 等概念。
4、有 GPU 集群、MaaS 平台、模型服务平台或推理系统经验优先。
5、具备强指标意识,能够围绕 SLA、GPU 利用率/SMA、吞吐、延迟和成本持续优化系统。

加分项
1、熟悉 AIBrix、llm-d、vLLM、SGLang、KServe、Ray Serve 等推理框架或服务化体系。
2、有在线离线混部、弹性调度、算力资源池化、异构算力调度相关经验。
3、有大规…
登录查看完整工作描述
微信扫码,1秒登录

包括英文材料
分布式系统+
服务治理+
Kubernetes+
大模型+
还有更多 •••
相关职位

logo of xiaohongshu
校招机器学习平台

任职要求 1、熟悉业界主流Dense、MOE大模型架构及主要特点,能识别出模型效果及主要使用场景,支持用户大模型的选型和使用需求; 2、了解至少一种大模型服务推理部署框架,如vLLM、SGLang、D

更新于 2026-08-15北京|上海
logo of xiaohongshu
校招引擎

任职要求 1、熟悉业界主流Dense、MOE大模型架构及主要特点,能识别出模型效果及主要使用场景,支持用户大模型的选型和使用需求; 2、了解至少一种大模型服务推理部署框架,如vLLM、SGLang、D

更新于 2026-08-15北京|上海
logo of xiaohongshu
社招引擎

任职要求 1、熟悉 Go / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。 2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相

更新于 2026-08-15北京|上海|杭州
logo of xiaohongshu
社招3-5年引擎

1、熟悉 Go / Rust / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。 2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统

更新于 2026-06-05北京|上海|杭州