阿里巴巴数据技术及产品部-AI算法工程-Agent测试

工作描述

任职要求
1. AI/NLP评测体系设计能力：熟悉大语言模型（LLM）及AI Agent的评测方法论，能独立设计覆盖准确性、相关性、完整性、时效性等维度的指标体系；具备评测指标量化拆解能力，能将抽象的"回答质量"转化为可度量、可追踪的具体指标；了解主流评测框架（如RAGAS、TruLens、DeepEval等）。
2. 数据分析与问题定位能力：熟练使用SQL进行数据提取与分析，能从数据中识别回答质量的波动与异常；具备根因分析（Root Cause Analysis）能力，能通过case study定位问题出在检索层、语义层还是生成层；有Bad Case标注、分类与归因的实操经验。
3. 业务场景理解能力：具备高管决策场景的业务认知，理解经营分析、财务指标、市场趋势等高管关注的核心问题域；能将业务场景转化为结构化评测用例（test case），覆盖典型问题、边界问题和对抗性问题。
4. 语义层/数据层相关知识：理解语义层（Se…