小红书大模型推理服务(MaaS)研发工程师/专家

工作描述

任职要求
任职要求
1、熟悉 Go / Java / Python / C++ 中至少一门语言，具备扎实的服务端研发能力。
2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相关经验。
3、能对复杂业务问题进行系统建模和抽象，具备良好的稳定性、可观测性和工程质量意识。
4、了解大模型推理服务基本链路，对模型部署、请求调度、服务高可用、SLO 保障等有基本认知。
5、具备良好的沟通协作能力，能与推理框架、平台、算法和业务团队协同推进项目落地。
加分项
1、有 LLM / MLLM 模型服务平台、MaaS 平台、API 网关、云服务平台开发经验。
2、熟悉 vLLM、SGLang、TensorRT-LLM 等大模型推理框架，有模型推理部署或优化经验。
3、熟悉 Kubernetes、服务发现、负载均衡、弹性扩缩容、限流熔断、灰度发布等服务治理能力。
4、有面向开发者的平台产品建设经验，…