阿里巴巴业务技术-Agent 评测工程师-AI 应用效果方向

工作描述

任职要求
1、本科及以上学历，计算机、人工智能、软件工程、统计学、数学等相关专业；具备 2 年以上软件测试、质量工程、AI 应用评测或效果优化经验，有大模型或 AI Agent 落地经验。
2、理解 AI Native 应用架构及 Agent 核心链路，熟悉 Prompt、RAG/向量检索、Skill、记忆、知识库、工具调用、任务规划和多轮交互等技术或组件。
3、具备端到端业务效果意识，能够从业务目标出发定义成功标准、设计评测指标，并建立离线评测与线上业务效果的关联。
4、熟悉 Agent 评测体系建设，能够综合运用自动化评测、规则评测、LLM-as-a-Judge、人工评测及红蓝对抗等方法，并理解其偏差和适用边界。
5、具备问题挖掘、数据分析和实验设计能力，能够结合评测结果与执行轨迹完成根因分析，通过 A/B 测试或版本对比验证优化收益。
6、熟练使用 Python、Java 等至少一种编程语言，具备评测集与反馈数据管理、自动化评测、数据处理或评测工具开发能力。
7、具备较强的业务理解、跨团队协作和结果推动能力，能够独立承担 Agent 应用或核心组件的效果评测与优化，并对最终交付效果负责。

工作职责
加入天猫技术质量团队，你将面向导购、搜索、营销、商家经营、客服等核心业务场景中的各类 AI Agent，对端到端业务效果负责。
这个岗位不止是“…