阿里巴巴数据技术及产品部-评测平台产品经理-杭州

1. 负责大模型通用能力及各专业垂类能力评测体系的建设与持续迭代，覆盖工程科学、数学、物理、化学、生物、医学、法律、金融、人文社科等核心方向，搭建科学、严谨、可复现的评测体系。 2. 围绕模型智能上限设计评测方案，通过高难度推理、复杂多步任务、长程规划等真实生产力任务检验模型的能力天花板，构建能有效区分模型能力层级的高区分度评测体系。 3. 深入分析模型在真实场景任务中的 bad case，精准归因问题来源（指令遵循失败、幻觉、上下文遗忘等），输出模型能力弱点分布图谱，为算法与训练团队提供可操作的优化方向与数据反馈。 4. 持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度。 5. 探索评测自动评估方案，研究主观评测新方法（如 LLM-as-Judge、对比评分、多维度量表等），将主观判断转化为可量化、可复现的评估指标，持续提升评测覆盖度与效率。

1.构建C端AI助手（如千问、悟空、QoderWork）的产品评测体系：围绕对话式AI助手的核心体验，从真实用户场景出发，设计评测维度、构建高质量评测集与评分标准，确保评测结果能真实反映产品的市场竞争力与用户体感。 2.驱动评测体系的产品化与平台化：负责将评测所需要的场景用例、评测流程与结果洞察封装，线上维护评测结果、对比与可视化看板，降低产品与算法团队的评测门槛，支撑快速迭代。 3.Agent与工具调用评测环境搭建：针对AI助手中的搜索联网、插件调用与Agent规划能力，搭建端到端的仿真运行环境与MCP工具层，实现外部工具接口的标准化注册、调用链路追踪与结果校验，确保多步骤任务评测的可复现性。 4.评测Benchmark建设：接入并适配主流开源评测集，同时持续挖掘用户真实Bad Case，沉淀并构建符合国内C端用户习惯的专属业务评测数据集，完成数据解析与评分逻辑对齐。 5.跨团队协同与体验闭环：作为评测体验专家，与产品经理、算法研究团队紧密协作，将产品侧的体验诉求转化为可量化的工程评测方案，并通过评测数据反哺产品迭代方向，以打造最受欢迎的AI应用为目标。

1.构建C端AI助手（如千问、悟空、QoderWork）的产品评测体系：围绕对话式AI助手的核心体验，从真实用户场景出发，设计评测维度、构建高质量评测集与评分标准，确保评测结果能真实反映产品的市场竞争力与用户体感。 2.驱动评测体系的产品化与平台化：负责将评测所需要的场景用例、评测流程与结果洞察封装，线上维护评测结果、对比与可视化看板，降低产品与算法团队的评测门槛，支撑快速迭代。 3.Agent与工具调用评测环境搭建：针对AI助手中的搜索联网、插件调用与Agent规划能力，搭建端到端的仿真运行环境与MCP工具层，实现外部工具接口的标准化注册、调用链路追踪与结果校验，确保多步骤任务评测的可复现性。 4.评测Benchmark建设：接入并适配主流开源评测集，同时持续挖掘用户真实Bad Case，沉淀并构建符合国内C端用户习惯的专属业务评测数据集，完成数据解析与评分逻辑对齐。 5.跨团队协同与体验闭环：作为评测体验专家，与产品经理、算法研究团队紧密协作，将产品侧的体验诉求转化为可量化的工程评测方案，并通过评测数据反哺产品迭代方向，以打造最受欢迎的AI应用为目标。

主导 Coding & Agent 方向评测体系的设计与落地实施，定义模型能力，设计评测方法并构建专业评测集。具体包括： 1. 主导设计并构建面向代码生成与智能体的评测基准，涵盖能力维度拆解、任务难度分级、数据集构造、评分标准制定等全流程，具备从 0 到 1 打造高区分度评测集的能力。 2. 持续跟踪学术界与工业界在代码智能（Code Intelligence）和 Agent 领域的前沿进展，提出评测方向演进策略的专业判断，确保评测体系能有效度量模型的真实能力边界。 3. 设计覆盖真实开发场景的代码评测任务，包括但不限于：代码补全、多文件编辑、调试修复、重构优化、仓库级理解、工具调用链路等，推动评测从"解题"向"工程实践"演进。 4. 设计面向复杂 Agent 场景的评测任务体系，涵盖多步推理、环境交互、工具编排、长程规划、错误恢复等维度，构建能反映真实 Agentic 工作流的端到端评测方案。 5. 建立评测数据质量管控机制，包括题目查重与污染检测、难度标定与校准、人工标注规范制定与一致性审核，确保评测结果的可信度与可复现性。 6. 与模型训练团队紧密协作，将评测洞察转化为模型能力改进方向；与工程团队协同推动评测基础设施建设，支撑高频次、大规模的自动化评测流程。