蚂蚁金服蚂蚁集团-AI基础设施评测专家-杭州
任职要求
1.熟悉测试理论和实践,熟悉各种常用测试技术,了解测试流程和相关质量保证方法、目标和工具; 2.具备扎实的计算机基础知识,精通至少一种主流编程语言,能设计并完成测评工具或框架的开发要求;有基础算法、数据分析等技术的应用经验会是加分项; 3.有很强的分析复杂问题和解决复杂问题的能力,有强烈的责任心和使命感。技术上我们希望你在拥有强大的技术功底同时,永远保持对创造新技术的好奇心; 4.善于团队合作,理解和适应变化,以结果和行动为准则,努力追求成功; 5.有以下经验值优先: 一线互联网大厂工作经验 大模型相关技术领域工作经验 在某一测试领域比如性能、安全、自动化、金融、大数据、搜索、智能分析测试等具备很强的专业技能者优先
工作职责
1. 完善蚂蚁体系内科学、完备、高效、业界认可的AI基础设施算效评测体系,精准刻画面向技术架构和业务场景的精度评测基准、压测模型和性能基线,驱动架构体系优化以及支撑业务技术选型工作; 2. 构建高度自动化的精度评测/性能评测工程体系和平台能力; 3. 跟进业界最新的算效评测技术和方法,不断提高评测的准确性和效率;
我们正在寻找业界顶尖的系统专家,加入我们的AI基础架构团队,共同设计和构建下一代生成式AI的“在线服务操作系统”。您的使命是解决将前沿AI能力(大模型、AI Agent、多模态等)转化为大规模、高效率、高可用在线服务时所面临的系统性、全栈性挑战。您将负责端到端的服务性能与架构演进,从顶层应用到底层硬件,全面提升AI服务的竞争力。 具体职责包括(若你对以下一个或者多个方向感兴趣均欢迎投递): 1. 大规模模型服务平台与智能调度系统设计: (1)负责承载大规模在线模型服务(Serving)平台的核心架构设计与演进,通过对底层推理引擎(如PAI平台提供)的深度适配与协同优化,实现极致的推理吞吐与资源利用率。 (2)设计并实现面向复杂混合负载(长/短序列长度、多Lora、多模型、异构资源、多租户、高/低优先级)的上层智能请求调度与资源管理系统,通过与推理引擎的深度协同,动态调整调度策略,保障服务质量(SLA)并最大化云上服务的性价比。 2. 分布式基础设施与底层硬件优化: (1)负责面向大规模模型服务的分布式推理拓扑管理与通信计算协同优化,针对张量并行、流水线并行等场景,优化跨节点通信(InfiniBand/RoCE, NVLink),降低端到端延迟。 (2)深入理解GPU、NPU等异构硬件架构与特性,负责从服务层面对底层计算、编译优化(由PAI等引擎团队提供)进行性能评测、分析与反馈,驱动端到端的硬件效能提升。 3. AI应用层运行时与算法协同优化: (1)深入AI Agent、检索增强生成(RAG)、多模态理解等复杂应用场景,设计并优化其专用的高效运行时(Runtime),解决长链条、多依赖、异步任务流的性能瓶颈。 (2)负责高性能向量检索(Vector Search)与图计算(Graph Computing)引擎的服务化与集成,优化其在RAG和复杂推理场景下的数据访问与计算效率,实现数据层与模型层的无缝高效协同。
1. 系统架构与工程落地 ● 负责AI Agent框架设计与实现,构建高可用、低延迟的AI Agent生产环境,支持百万级以上用户量的应用、部署平台 ● 负责智能体知识库、流程编排等功能开发,对接头部等流量等载体的接口,输出能力 ● 开发LLM应用基础设施,包括RAG 技术、Agent开发框架(如LangChain) MCP 协议等 ● 优化Agent与工具调用的协同机制,提升任务规划、自主决策和交互体验 ● 探索大模型与Agent技术的结合,解决复杂场景下的推理能力 2. 业务场景适配与创新 ● 推动AI Agent在搜索、营销、服务、DevOps运维等领域的落地 ● 设计符合行业需求的解决方案,如应用导购助理、客服助手、智能编程助手 ● 负责AI项目的推动落地,行业类Agent开发以及行业类RAG系统的架构设计与研发。 ● 负责技术预研、架构设计、业务模型抽象及功能开发保持对业务场景的敏锐洞察,快速熟悉业务流程并理解业务痛点,沟通并分析产品需求,制定技术方案,设计与研发核心系统及模块,推动产品快速迭代。