腾讯微信基础-大模型评测产品经理

任职要求

1.本科及以上学历，计算机、统计学、心理学、语言学或相关专业优先，3 年以上产品经理经验；
2.具备 AI/NLP/对话系统相关评测工作经验，有评测体系从 0 到 1 搭建经验者优先；
3.熟悉 AI 产品评测的科学方法，包括评测指标设计、统计显著性检验、评分者一致性（Kappa/ICC）、A/B 实验设计等；
4.具备评测平台或数据平台的产品设计经验，能独立输…

工作职责

1.评测体系设计：主导 AI 产品的评测体系搭建，定义评测维度、指标、标准和流程，确保评测的科学性和全面性；
2.评测方法论制定：设计适配不同场景（对话、工具调用、多轮交互、创意生成等）的评测方案，包括自动评测、人工评测、众包评测、竞品对比等；
3.评测平台产品设计：规划评测平台的产品架构和功能模块，输出 PRD，驱动研发团队落地；
4.评测洞察与决策支持：深度分析评测数据，发现产品体验问题和模型能力短板，输出有洞察力的评测报告，推动产品和算法团队优化；
5.竞品评测与行业跟踪：持续跟踪业界竞品的能力变化，建立常态化竞品评测机制；
6.标注体系管理：设计标注规范和质量控制流程，确保评测数据质量。