阿里巴巴数据技术及产品部-Coding & Agent 评测专家-杭州/北京

工作描述

任职要求
1. 对代码生成与智能体领域有深入理解和判断，能清晰阐述"什么是好的代码能力"和"什么是好的 Agent 能力"，并将其转化为可量化的评测维度。
2. 具备从零设计 Benchmark 的完整经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡。
3. 扎实的软件工程背景，具备实际的中大型项目开发经验，能从一线开发者视角审视代码能力评测的合理性。
4. 熟悉主流代码评测集（如SWE-bench、LiveCodeBench、BigCodeBench 等）和 Agent 评测集（如 WebArena、OSWorld、GAIA、AgentBench 等）的设计理念与局限性。
5. 熟练掌握 Python，具备数据处理、统计分析与可视化能力；了解主流 LLM 推理服务的调用方式与工程约束。
6. 了解 Agent 框架的核心机制（如 ReAct、Tool Use、Planning 等范式），对 MCP 等工具协议…