小红书大模型 MaaS 网关研发工程师/专家

任职要求

1、熟悉 Go / Rust / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。
2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相关经验。
3、能对复杂业务问题进行系统建模和抽象,具备良好的稳定性、可观测性和工程质量意识。
4、了解大模型推理服务基本链路,对模型部署、请求调度、服务高可用、SLO 保障等有基本认知。
5、具备良好的沟通协作能力,能与推理框架、平台、算法和业务团队协同推进项目落地。
加分项
1、有 L…

工作职责

1、MaaS 网关架构与研发：负责大模型 MaaS 网关的整体架构设计与核心研发，建设公司统一的大模型 API 服务入口，提供 OpenAI 兼容 API。
2、模型接入与路由：负责多模型接入抽象、请求路由、模型版本管理、灰度发布等能力，支撑异构推理后端的统一对外服务。
3、服务治理能力建设：负责鉴权、限流、配额、TPM / RPM、流控、熔断降级、SLO 保障、成本统计等网关核心治理能力。
4、多租户与高并发：建设多模型、多租户、高并发场景下的请求调度与服务治理体系，提升模型服务的稳定性和资源效率。
5、开发者体验优化：持续优化统一 API、SDK、文档、监控、问题诊断和接入流程，提升内部 AI 应用开发效率。
6、业务打通与协同：与推理引擎、调度、算法及上层业务团队协同，为社区、搜索、审核、企效、AI 应用等场景提供开箱即用的大模型服务能力。