阿里云阿里云智能-AI产品评测专家/工程师-杭州/北京
任职要求
1、计算机、人工智能、统计学、数学或相关专业，本科及以上学历，3年（工程师）或5年（专家）以上相关工作经验；
2、熟悉业界主流评测工具集和评测集，有独立设计执行评测经验；
…工作职责
1、构建科学高效的AI产品评测体系，能够识别现有评测体系的局限性，持续优化评测方法、指标和数据集； 2、熟悉评测方法论和工具链，能够搭建评测工具平台，执行评测方案并拿到评测结论； 3、具备AI模型和AI产品能力分析和迭代优化分析能力，根据评测结论提出优化建议，驱动优化落地； 4、关注业界前沿AI模型和产品发展，关注AI前沿评测方法发展，并转化为内部评测实践。
1、构建科学高效的AI产品评测体系，能够识别现有评测体系的局限性，持续优化评测方法、指标和数据集； 2、熟悉评测方法论和工具链，能够搭建评测工具平台，执行评测方案并拿到评测结论； 3、具备AI模型和AI产品能力分析和迭代优化分析能力，根据评测结论提出优化建议，驱动优化落地； 4、关注业界前沿AI模型和产品发展，关注AI前沿评测方法发展，并转化为内部评测实践。
1、设计AI产品评测体系 · 深入理解业务需求和AI应用场景，针对性的设计评测方法、指标和数据集； · 沉淀各类AI软硬件产品的标准化和个性化评测体系 2、产品能力分析 · 与评测团队紧密协作，根据产品能力和实际需求设计和迭代优化评测体系，并实际执行产品评测 · 结合评测结果对产品能力进行分析诊断，为产品迭代提供有价值信息 3、关注业界产品形态发展，持续迭代评测体系 · 持续跟踪全球AI大模型、Agent和应用产品的技术发展，关注评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、设计AI产品评测体系 · 深入理解业务需求和AI应用场景，针对性的设计评测方法、指标和数据集； · 沉淀各类AI软硬件产品的标准化和个性化评测体系 2、产品能力分析 · 与评测团队紧密协作，根据产品能力和实际需求设计和迭代优化评测体系，并实际执行产品评测 · 结合评测结果对产品能力进行分析诊断，为产品迭代提供有价值信息 3、关注业界产品形态发展，持续迭代评测体系 · 持续跟踪全球AI大模型、Agent和应用产品的技术发展，关注评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、从用户视角定义产品体验，并细化到对模型效果的理想态定义和评测标准制定。 2、设计统一的评估框架与指标体系，产出稳定可信的评测结论；基于结论进行归因分析，提出可落地的模型能力提升与应用体验优化策略（含数据生产与产品策略），并推动跨团队闭环落地。 3、持续跟进业界评测研究与方法论，结合真实业务场景迭代内部评测方案，探索更贴近真实用户体验的评测方法。 4、持续跟踪业内产品与技术动态，建立对标分析机制，输出趋势判断与策略建议，辅助业务方向制定决策。