米哈游AI网关开发工程师
任职要求
1. 3年以上后端开发经验，熟练掌握 Golang，具备扎实的编程基础和工程化能力； 2. 熟悉 HTTP/gRPC 协议，理解反向代理、网关、负载均衡等基础架构概念； 3. 熟悉 MySQL、Redis，具备数据模型设计与查询优化能力； 4. 了解 SSE/WebSocket 等长连接与流式传输机制； 5. 具备良好的工程习惯，关注代码质量、可维护性与系统稳定性； 6. 有良好的问题定位与独立解决问题的能力…
工作职责
职位详情： AthenAI 是米哈游自研的企业级 AI 网关平台，作为全公司 AI 使用的核心基础设施，承担统一管理、智能路由、Token 治理与供应商规范接入等关键职责，让公司的每一次 AI 调用都更合理、更有价值。 工作内容： 1. 参与 AthenAI 网关核心模块的设计与开发，包括请求路由、负载均衡、流量控制、鉴权限流、流式代理（SSE/Streaming）等能力建设； 2. 对接主流大模型平台等多供应商 API，完成统一协议封装与适配； 3. 参与 Token 用量统计、配额管理、计费核算等治理能力的开发，支撑公司级 AI 使用规范落地； 4. 参与网关高并发场景下的性能优化，包括延迟优化、连接池管理、缓存策略等； 5. 参与数据库架构设计与优化，保障核心业务数据的稳定性与可扩展性； 6. 配合线上问题排查与系统运维，保障平台高可用运行。
随着大模型应用逐渐向多智能体系统演进，Agent 在执行复杂任务过程中需要频繁调用模型服务、工具服务以及外部 API，这使得传统 API 网关难以满足智能体场景下的动态调用需求。Agent 独特的身份认证、A2A 协议通信、MCP 工具调用、出网安全管控等需求，对网关的设计提出了全新挑战。 我们正在构建 EdithAI —— 一套面向 Agent 场景的新一代 AI 网关，作为 NEX 平台的控制平面核心，承载 Agent 的全链路流量治理能力。 你将参与或负责以下方向： 1、Agent 身份认证体系（AIS）设计与实现，支持入站 / 出站双向鉴权，覆盖 A2A、SSO、JWT 等多种认证协议，构建企业级 Agent 身份管理能力； 2、Sandbox 流量代理核心能力建设，支持流量路由、治理与可观测性； 3、LLM API 代理层设计，支持多模型接入、请求路由、用量统计与安全管控，实现 Agent 对大模型能力的标准化调用； 4、MCP（Model Context Protocol）工具代理与市场集成，实现 Agent 对外部工具的标准化接入与凭证安全管理； 5、出网代理（Egress）安全管控体系建设，实现 Agent 外网访问的审计、过滤与策略执行，防止数据泄露与异常访问； 6、网关高可用、高性能架构设计与优化，满足大规模 Agent 并发场景下的低延迟、高吞吐要求。
1. 参与AI网关的系统设计与实现， 独立完成相关模块的完整设计、开发工作，并保证功能交付的质量与稳定性。 2. 参与AI网关的用户需求实现，主动组织、推动上下游团队的协作，按时保质地交付用户功能需求。 3. 参与AI网关的高可用能力构建，主动通过单元测试、功能测试、性能测试、容灾演练等持续提升自身负责模块的稳定性能力。 4. 参与AI网关的性能调优，关注网关领域的前沿技术发展趋势，结合网关实际场景落地持续提升网关的性能，打造高性能的企业级网关产品，例如多供应商模型之间的智能路由、 HTTP 3.0弱网环境应用等。 5. 参与AI网关的AI场景探索与落地，基于用户需求独自完成AI类插件的设计与开发工作，并保证功能交付的质量与稳定性。 6. 参与AI网关的开源项目 Higress 影响力和标准的构建，积极参与开源Higress社区的生态扩展以及 AIGC 的探索。
阿里云 AI 中间件团队致力于打造行业优秀的AI中间件（Agent框架，Agent Registry，Agent网关等），拥有全球优秀开源项目AgentScope/Higress / Dubbo / Nacos ，优秀的商业产品AI网关，MSE，支撑阿里Qwen-APP/百炼/PAI 等核心业务流量。期待你能够洞察 AI 网关趋势，梳理核心技术竞争点，带领团队持续引领 AI 网关先进性。 1、主导 AI 网关的系统设计与实现， 独立完成 AI 模块的完整设计、开发工作，并保证功能交付的质量与稳定性； 2、主导 AI 网关的用户洞察，产品链接，需求实现，主动组织、推动上下游团队的协作，按时保质地交付用户功能需求； 3、主导 AI 网关的高可用能力构建，主动通过单元测试、功能测试、性能测试、容灾演练等持续提升自身负责模块的稳定性能力； 4、主导 AI网关的开源项目 Higress 影响力和标准的构建，积极参与开源 Higress 社区的生态扩展以及 AIGC 的探索； 5、能够 洞察 AI 网关趋势，结合行业报告、竞对分析、市场反馈，扩大 AI 网关竞争优势。
1.从零构建企业AI网关平台，作为公司统一的大模型接入入口； 2.后续参与自研AI网关的规划与建设，推动网关从云产品依赖走向自主可控； 3.调研并借鉴开源AI网关方案（如 Higress/Kong AI Gateway、LiteLLM等），参与架构设计与技术选型； 4.负责平台后端设计与开发：API Key生命周期管理、模型路由、配额管控、审批流程、消耗计量与监控大盘等； 5.对接阿里云AI网关及企业基础设施，完成系统集成与交付。