阿里云阿里云智能-AI网关高级开发工程师-杭州

阿里云 AI 中间件团队致力于打造行业优秀的AI中间件（Agent框架，Agent Registry，Agent网关等），拥有全球优秀开源项目AgentScope/Higress / Dubbo / Nacos ，优秀的商业产品AI网关，MSE，支撑阿里Qwen-APP/百炼/PAI 等核心业务流量。期待你能够洞察 AI 网关趋势，梳理核心技术竞争点，带领团队持续引领 AI 网关先进性。 1、主导 AI 网关的系统设计与实现， 独立完成 AI 模块的完整设计、开发工作，并保证功能交付的质量与稳定性； 2、主导 AI 网关的用户洞察，产品链接，需求实现，主动组织、推动上下游团队的协作，按时保质地交付用户功能需求； 3、主导 AI 网关的高可用能力构建，主动通过单元测试、功能测试、性能测试、容灾演练等持续提升自身负责模块的稳定性能力； 4、主导 AI网关的开源项目 Higress 影响力和标准的构建，积极参与开源 Higress 社区的生态扩展以及 AIGC 的探索； 5、能够 洞察 AI 网关趋势，结合行业报告、竞对分析、市场反馈，扩大 AI 网关竞争优势。

1.从零构建企业AI网关平台，作为公司统一的大模型接入入口； 2.后续参与自研AI网关的规划与建设，推动网关从云产品依赖走向自主可控； 3.调研并借鉴开源AI网关方案（如 Higress/Kong AI Gateway、LiteLLM等），参与架构设计与技术选型； 4.负责平台后端设计与开发：API Key生命周期管理、模型路由、配额管控、审批流程、消耗计量与监控大盘等； 5.对接阿里云AI网关及企业基础设施，完成系统集成与交付。

随着大模型应用逐渐向多智能体系统演进，Agent 在执行复杂任务过程中需要频繁调用模型服务、工具服务以及外部 API，这使得传统 API 网关难以满足智能体场景下的动态调用需求。Agent 独特的身份认证、A2A 协议通信、MCP 工具调用、出网安全管控等需求，对网关的设计提出了全新挑战。 我们正在构建 EdithAI —— 一套面向 Agent 场景的新一代 AI 网关，作为 NEX 平台的控制平面核心，承载 Agent 的全链路流量治理能力。 你将参与或负责以下方向： 1、Agent 身份认证体系（AIS）设计与实现，支持入站 / 出站双向鉴权，覆盖 A2A、SSO、JWT 等多种认证协议，构建企业级 Agent 身份管理能力； 2、Sandbox 流量代理核心能力建设，支持流量路由、治理与可观测性； 3、LLM API 代理层设计，支持多模型接入、请求路由、用量统计与安全管控，实现 Agent 对大模型能力的标准化调用； 4、MCP（Model Context Protocol）工具代理与市场集成，实现 Agent 对外部工具的标准化接入与凭证安全管理； 5、出网代理（Egress）安全管控体系建设，实现 Agent 外网访问的审计、过滤与策略执行，防止数据泄露与异常访问； 6、网关高可用、高性能架构设计与优化，满足大规模 Agent 并发场景下的低延迟、高吞吐要求。

作为集团 AI 基础设施的关键组成部分，你将负责内部大模型网关（AI Hub）的设计、开发与持续演进，打造统一、高效、智能的大模型服务接入平台。 我们向下聚合集团内外多源大模型能力（包括自研及第三方 LLM、多模态模型等），向上为搜索、客服、内容生成、智能办公等数十个高并发业务场景提供标准化、低门槛的 API 接入服务。 面对万级QPS、毫秒级延迟、十万亿Token 级计量等严苛挑战，你将深度参与以下核心技术方向： - 构建智能路由引擎，支持按模型能力、成本、延迟 SLA、地域等维度动态调度请求； - 设计精细化流量治理体系，实现多租户配额管理、Token 级限流、优先级队列与熔断降级； - 打造商业化计费与用量追踪系统，支撑按 Token、时长或套餐的灵活计费模式； - 优化流式推理链路（SSE/WebSocket），保障长上下文、高吞吐场景下的低首Token延迟（TTFT）与稳定性； - 协同底层算力平台，推动网关与推理引擎（如 vLLM、TGI）的高效协同，提升 GPU 资源利用率。 你的工作将直接影响集团 AI 能力效率、服务成本与用户体验，是推动 AI 工程化落地的核心力量！加入我们，一起创造价值~