蚂蚁金服蚂蚁集团-推理网关研发工程师/网络专家-杭州/成都/北京
任职要求
● 熟练掌握 C、C++、Golang 一种或多种语言，3年以上系统软件开发经验； ● 具备扎实的 Linux/Network/GPU 等系统基础知识； ● 具备大模型推理网关经验，实践 GPU 流量调度、PD 分离调度、Prefi…
工作职责
我们是蚂蚁集团网络技术团队，为蚂蚁集团全站提供通智一体、稳定高效的网络基础设施产品、平台和服务。 ● 负责推理网关核心能力设计和开发； ● 通过创新的流量调度算法减少推理成本；
1. 负责大模型推理平台（含多模态）与传统网关场景的统一流量接入与调度体系建设：入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地。 2. 设计与实现面向推理业务的流量调度算法：按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配，持续优化 TTFT / TPOT / P99 等指标。 3. 建设流量治理能力：限流（全局/分层/配额）、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略。 4. 完善可观测性与问题定位：全链路 tracing、结构化日志、指标与告警体系；建设压测/回放/故障演练能力，提升定位与恢复效率。 5. 推进平台化与工程化：沉淀配置/策略编排/发布体系，保障多集群、多环境的一致性、稳定性与安全合规。 6. 持续跟进业界先进网关与推理流量技术/算法，推动在生产环境落地与迭代。
1. 负责大模型推理平台（含多模态）与传统网关场景的统一流量接入与调度体系建设：入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地。 2. 设计与实现面向推理业务的流量调度算法：按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配，持续优化 TTFT / TPOT / P99 等指标。 3. 建设流量治理能力：限流（全局/分层/配额）、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略。 4. 完善可观测性与问题定位：全链路 tracing、结构化日志、指标与告警体系；建设压测/回放/故障演练能力，提升定位与恢复效率。 5. 推进平台化与工程化：沉淀配置/策略编排/发布体系，保障多集群、多环境的一致性、稳定性与安全合规。 6. 持续跟进业界先进网关与推理流量技术/算法，推动在生产环境落地与迭代。
负责阿里集团、阿里云可观测数据处理基础设施建设，打造日增百PB级数据的实时数据分析平台。通过实时采集、索引、存储、压缩等技术，实时处理来自千万设备的海量日志数据，并针对AI应用场景进行特定优化，提供智能、自动化数据分析服务。 加入该岗位，您将有机会在国内超大规模的实时日志平台上，构建各种面向各类AI应用场景的数据存储和处理平台，打造新一代的AI基础设施。 1. 参与阿里云战略级产品SLS研发，参与面向AI应用场景的多模态数据采集、处理、检索分析等功能开发与设计； 2. 参与数据飞轮的建设，研发高质量数据集的清洗和存储、检索系统； 3. 参与Agent数据反馈回路建设，打磨Agent质量； 4. 参与建设Agent数据基座，研发稳定可靠的Agent运行时数据基础设施。
1、负责淘宝闪购接入层网关设计，开发和稳定性等工作，协助业务后端高效稳定地跟端侧交互； 2、负责网关，RPC和框架等微服务技术领域的AI演进，主导AI原生应用框架搭建和开发，结合机器学习与深度学习场景，构建适合业务的AI服务化架构； 3、与各业务线技术团队紧密协作，提供网关，RPC，框架和AI原生应用等技术支持和解决方案； 4、关注业界前沿技术动态，结合实际业务需求，探索并引入先进的微服务架构理念和技术工具； 5、编写高质量、可复用的技术文档和代码，保障系统的可扩展性和易维护性； 6、参与系统性能调优、故障排查和线上问题应急响应，确保关键链路的低延迟与高可靠性。