智能互联ATH事业群-AI Agent 测试开发工程师-杭州/北京
任职要求
1、深度理解 AI 技术栈，熟悉 LLM、Agent、Prompt Engineering、RAG、Tool Calling 等核心概念，对 AI 系统的质量风险有认知（幻觉、偏见、安全性等）； 2、具备 AI 应用测试思维，理解流式响应、多轮对话、上下文管理等 AI 场景的测试方法，能设计针对非确定性输出的验证策略； 3、扎实的测试基本功和工程能力，精通性能测试、自动化测试、安全测试或白盒测试，熟练掌握至少一门编程语言（Python/Java/Go）；…
工作职责
1、负责 AI Agent 平台的测试体系建设，设计和实现用例自动生成、缺陷根因分析、测试执行编排等 Agent，打造智能化质量保障平台； 2、建立 LLM 应用的测试方法论和评估体系，应对非确定性输出的测试挑战，覆盖 Prompt、RAG、Function Calling、多轮对话等场景的专项测试； 3、深入理解复杂业务系统，设计有效的测试策略和自动化框架，参与全站架构升级中的可测性建设和稳定性保障，支撑千万级用户的业务质量； 4、探索 AI 驱动的测试新范式，沉淀 Agent 协作框架、智能测试工具、模型评估体系等技术方案，推动测试工程智能化转型。
悟空事业部是阿里巴巴 ATH 战略下的 AI 原生工作平台，致力于将智能体能力深度融入企业工作流，重新定义 B 端的工作方式。我们正在构建一套评测驱动的智能体自进化闭环——以评测发现问题、反哺优化、验证效果，让 Agent 在持续迭代中越来越可靠。为此，我们需要招募细致严谨、对 AI 技术充满热情的人才加入我们！ 【职位描述】 1、结合业界最佳实践与 B 端业务场景，通过专家设计和数据合成等手段，动态构建高质量评测集 2、负责评测任务的调度与执行监控，对评测结果进行审核与标注，输出质量报告，推动问题闭环 3、深入理解高频业务场景（电商、门店管理、资讯情报、数据分析等），针对性地构建专项评测集，设计可量化的评测标准 4、与产品、算法团队紧密协作，将评测中发现的问题和模式转化为优化方向，推动评测流程的持续改进
1. 负责参与阿里云智能&ATH 事业群对客官网的前端开发工作，打造优质的面向开发者/企业/Prosumer 的云计算与 AI 服务平台； 2. 负责参与阿里云智能&ATH 事业群对客与内部运营产品的前端开发工作； 3. 快速构建 AI Agent/Skills 体系能力，实现开发及业务提效； 4. 参与团队基础技术建设，利用 AI 思维提升团队研发效能与质量，并沉淀对应的 AI 能力。
团队介绍： MaaS（Model as a Service）网站产品团队致力于打造行业领先的模型即服务平台，为开发者和企业客户提供模型发现、部署、调用、评测及管理的一站式体验。我们相信大模型将重塑软件开发与业务创新的方式，而一个优秀的 MaaS 平台是连接模型能力与用户应用价值的核心桥梁。 1. 竞争分析与行业洞察：持续跟踪国内外 MaaS 平台的产品动态与竞争策略关注大模型技术前沿，输出竞品分析与产品洞察，将技术趋势转化为平台产品机会 2. 平台产品规划与设计：负责 MaaS 网站平台的整体产品规划与路线制定，产品设计与持续迭代，设计平台化的产品架构与交互方案，构建模型发现 → 评估 → 部署 → 调用 → 监控的完整用户旅程。 3. 模型生态与开发者体验：从个人和企业开发者视角出发，规划并优化各类模型接入和服务，支撑开源模型、自研模型、三方模型等多元模型生态的高效运转；持续优化 API 文档、SDK 、Playground 、Skills 等开发者工具使用体验。 4. 商业化与增长：参与 MaaS 平台的商业化策略制定，设计模型计费、资源套餐、用量计量等商业化产品能力。建立产品核心指标体系，通过数据分析驱动产品决策与增长。 5. 跨团队协作：建立与横向团队紧密协同，并与工程、算法、设计、运营、解决方案等团队纵向协作，推动产品从设计到上线应用的全流程闭环。
1. 负责参与阿里云智能&ATH 事业群对客的 App 客户端开发工作，打造优质的面向开发者/企业/Prosumer 的云计算与 AI 服务平台； 2. 参与 Android/iOS 双端一致的客户端架构设计与实现，推动架构演进以解决大规模并发下的系统稳定性问题； 3. 快速构建 AI Agent/Skills 体系能力，实现开发及业务提效； 4. 参与团队基础技术建设，利用 AI 思维提升团队研发效能与质量，并沉淀对应的 AI 能力。