蚂蚁金服蚂蚁集团-推理网关研发工程师/网络专家-杭州/成都/北京

1. 负责大模型推理平台（含多模态）与传统网关场景的统一流量接入与调度体系建设：入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地。 2. 设计与实现面向推理业务的流量调度算法：按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配，持续优化 TTFT / TPOT / P99 等指标。 3. 建设流量治理能力：限流（全局/分层/配额）、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略。 4. 完善可观测性与问题定位：全链路 tracing、结构化日志、指标与告警体系；建设压测/回放/故障演练能力，提升定位与恢复效率。 5. 推进平台化与工程化：沉淀配置/策略编排/发布体系，保障多集群、多环境的一致性、稳定性与安全合规。 6. 持续跟进业界先进网关与推理流量技术/算法，推动在生产环境落地与迭代。

1. 负责大模型推理平台（含多模态）与传统网关场景的统一流量接入与调度体系建设：入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地。 2. 设计与实现面向推理业务的流量调度算法：按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配，持续优化 TTFT / TPOT / P99 等指标。 3. 建设流量治理能力：限流（全局/分层/配额）、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略。 4. 完善可观测性与问题定位：全链路 tracing、结构化日志、指标与告警体系；建设压测/回放/故障演练能力，提升定位与恢复效率。 5. 推进平台化与工程化：沉淀配置/策略编排/发布体系，保障多集群、多环境的一致性、稳定性与安全合规。 6. 持续跟进业界先进网关与推理流量技术/算法，推动在生产环境落地与迭代。

负责阿里集团、阿里云可观测数据处理基础设施建设，打造日增百PB级数据的实时数据分析平台。通过实时采集、索引、存储、压缩等技术，实时处理来自千万设备的海量日志数据，并针对AI应用场景进行特定优化，提供智能、自动化数据分析服务。 加入该岗位，您将有机会在国内超大规模的实时日志平台上，构建各种面向各类AI应用场景的数据存储和处理平台，打造新一代的AI基础设施。 1. 参与阿里云战略级产品SLS研发，参与面向AI应用场景的多模态数据采集、处理、检索分析等功能开发与设计； 2. 参与数据飞轮的建设，研发高质量数据集的清洗和存储、检索系统； 3. 参与Agent数据反馈回路建设，打磨Agent质量； 4. 参与建设Agent数据基座，研发稳定可靠的Agent运行时数据基础设施。

我们是京东云，作为京东集团面向企业、政府等机构的技术服务品牌，是更懂产业的数智化解决方案提供商，致力于为企业、金融机构、政府等各类客户提供以供应链为基础的数智化解决方案。依托公、专、混的全栈式云产品矩阵，我们融合了人工智能、大数据、物联网等前沿科技，在零售、物流、健康、智能城市、金融科技等行业领域为客户提供了丰富的产品与数字化解决方案，帮助客户降低成本、提升效率，是值得信赖的产业数字合作伙伴。 岗位职责： 1. 负责京东云AI基础设施产品的质量保障工作，为上层AI开发提供高性能计算/网络、AI存储、大模型网关、大模型训练/推理、大数据开发等高质量底层技术产品； 2. 深度使用AI技术构建产品质量保障体系，反馈问题，评价版本质量； 3. 参与自动化测试框架及测试pipeline建设，持续提高提测质量和测试效率。