蚂蚁金服蚂蚁集团-评测产品专家-AI原生产品
任职要求
1. 2 年以上产品策略、模型产品或效果评测相关经验。 2. 至少主导或深度参与过一个完整的业务评测项目，亲自构建过完整的业务评测方法和评测集，能够判断评测方式与评测集的有效性和质量。 3. 理解大模型及 Agent 的基本工作原理和常见能力边界，能够…
工作职责
1. 你将参与探索下一代国民级的 AI 入口，通过用户研究、产品数据与效果评测，识别关键问题并推动产品策略落地，提升产品的用户体验。 2. 将产品目标转化为明确的评估策略，设计匹配真实场景的效果评测方式和评测集，建设覆盖离线评测与线上实验、结合人工与自动化评测的效果评估体系。 3. 收集和分析用户的实际使用情况与反馈，将发现的问题转化为评测案例，推动产品和模型改进，并验证评测结果是否能够反映用户的真实体验。 4. 推动评测方法和工具的持续完善，包括自动化评测、实验设计和用户反馈收集；与算法、工程、数据和评测团队协作，提升评测效率与结果的可靠性。 5. 持续跟进大模型与Agent评测的最新研究与实践，结合业务场景形成可落地的方法。
1、从用户视角定义产品体验，并细化到对模型效果的理想态定义和评测标准制定。 2、设计统一的评估框架与指标体系，产出稳定可信的评测结论；基于结论进行归因分析，提出可落地的模型能力提升与应用体验优化策略（含数据生产与产品策略），并推动跨团队闭环落地。 3、持续跟进业界评测研究与方法论，结合真实业务场景迭代内部评测方案，探索更贴近真实用户体验的评测方法。 4、持续跟踪业内产品与技术动态，建立对标分析机制，输出趋势判断与策略建议，辅助业务方向制定决策。
1、设计AI产品评测体系 · 深入理解业务需求和AI应用场景，针对性的设计评测方法、指标和数据集； · 沉淀各类AI软硬件产品的标准化和个性化评测体系 2、产品能力分析 · 与评测团队紧密协作，根据产品能力和实际需求设计和迭代优化评测体系，并实际执行产品评测 · 结合评测结果对产品能力进行分析诊断，为产品迭代提供有价值信息 3、关注业界产品形态发展，持续迭代评测体系 · 持续跟踪全球AI大模型、Agent和应用产品的技术发展，关注评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、设计AI产品评测体系 · 深入理解业务需求和AI应用场景，针对性的设计评测方法、指标和数据集； · 沉淀各类AI软硬件产品的标准化和个性化评测体系 2、产品能力分析 · 与评测团队紧密协作，根据产品能力和实际需求设计和迭代优化评测体系，并实际执行产品评测 · 结合评测结果对产品能力进行分析诊断，为产品迭代提供有价值信息 3、关注业界产品形态发展，持续迭代评测体系 · 持续跟踪全球AI大模型、Agent和应用产品的技术发展，关注评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、构建科学高效的AI产品评测体系，能够识别现有评测体系的局限性，持续优化评测方法、指标和数据集； 2、熟悉评测方法论和工具链，能够搭建评测工具平台，执行评测方案并拿到评测结论； 3、具备AI模型和AI产品能力分析和迭代优化分析能力，根据评测结论提出优化建议，驱动优化落地； 4、关注业界前沿AI模型和产品发展，关注AI前沿评测方法发展，并转化为内部评测实践。