米哈游推理平台研发工程师(网关与流量向)
任职要求
1. 本科及以上,计算机相关专业;3 年及以上后端/平台研发经验,有网关、流量治理或分布式系统经验。 2. 精通 Go / Rust / C++ 其一(熟悉另一门更佳),具备高并发网络服务研发、性能优化与线上问题处理经验。 3. 熟悉服务治理与网关核心能力与原理:L7/L4 转发、LB、限流、熔断、降级、超时重试、连接池/断路器、流式请求治理、流量回放等。 4. 熟悉可观测性体系:Prometheus/Grafana、OpenTelemetry/Jaeger 等;能设计指标与 tracing 规范并落地。 5. 熟悉 Kubernetes 与云原生生态:Ingress/Gateway API、Service/Endpoint、发布回滚、多集群治理与HPA等。 6. 具备良好的系统设计与跨团队协作能力,能将能力产品化/平台化。 加分项 1. 有网关/数据面相关经验:Envoy / Traefik / Higress …
工作职责
1. 负责大模型推理平台(含多模态)与传统网关场景的统一流量接入与调度体系建设:入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地。 2. 设计与实现面向推理业务的流量调度算法:按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配,持续优化 TTFT / TPOT / P99 等指标。 3. 建设流量治理能力:限流(全局/分层/配额)、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略。 4. 完善可观测性与问题定位:全链路 tracing、结构化日志、指标与告警体系;建设压测/回放/故障演练能力,提升定位与恢复效率。 5. 推进平台化与工程化:沉淀配置/策略编排/发布体系,保障多集群、多环境的一致性、稳定性与安全合规。 6. 持续跟进业界先进网关与推理流量技术/算法,推动在生产环境落地与迭代。
1. 负责大模型推理平台(含多模态)与传统网关场景的统一流量接入与调度体系建设:入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地。 2. 设计与实现面向推理业务的流量调度算法:按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配,持续优化 TTFT / TPOT / P99 等指标。 3. 建设流量治理能力:限流(全局/分层/配额)、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略。 4. 完善可观测性与问题定位:全链路 tracing、结构化日志、指标与告警体系;建设压测/回放/故障演练能力,提升定位与恢复效率。 5. 推进平台化与工程化:沉淀配置/策略编排/发布体系,保障多集群、多环境的一致性、稳定性与安全合规。 6. 持续跟进业界先进网关与推理流量技术/算法,推动在生产环境落地与迭代。
负责阿里集团、阿里云可观测数据处理基础设施建设,打造日增百PB级数据的实时数据分析平台。通过实时采集、索引、存储、压缩等技术,实时处理来自千万设备的海量日志数据,并针对AI应用场景进行特定优化,提供智能、自动化数据分析服务。 加入该岗位,您将有机会在国内超大规模的实时日志平台上,构建各种面向各类AI应用场景的数据存储和处理平台,打造新一代的AI基础设施。 1. 参与阿里云战略级产品SLS研发,参与面向AI应用场景的多模态数据采集、处理、检索分析等功能开发与设计; 2. 参与数据飞轮的建设,研发高质量数据集的清洗和存储、检索系统; 3. 参与Agent数据反馈回路建设,打磨Agent质量; 4. 参与建设Agent数据基座,研发稳定可靠的Agent运行时数据基础设施。
1. 开发知识库与问答系统: 搭建高性能文档解析、向量化与检索(RAG)服务,保障企业知识的安全与精准问答; 2. 构建智能体平台后端: 参与设计支持Agent编排、工具调用与技能扩展的核心框架与执行引擎; 3. 工程化落地AI能力: 集成大语言模型,构建提示工程、工作流引擎与推理网关,支撑复杂AI场景; 4. 保障系统与协作: 负责核心服务的设计、开发与运维,确保高可用与可扩展性;与产品、算法团队高效协同。
1、风险定义:完善标准中心平台,负责定义和维护各业务风险标签体系,并基于标准审核要素、案例库构建治理大模型的风险知识库平台; 2、处置决策:完善处置策略平台,基于处置计次与其他实时&离线特征,通过策略编排多个处置决策节点,输出匹配治理预期的处置能力组合,并推动执行;构建健康分区间节点处置策略; 3、处置执行:构建处置能力网关,接受处置决策的处置能力组合,联合基础产品保障处置成功执行并搭配对账能力保障处置效果达成;负责账号、额度管控、状态处置和校验网关等通用能力的建设和运维; 4、大模型应用:大模型生产处置动作脚本代码,AI生产动作对账脚本代码,AI治理处置中心Oncall和报警。