千问千问事业部-大模型评测数据运营-北/杭

任职要求

1、本科或以上学历，2年以上LLM策略/评测/数据产品相关经验，有agent相关产品和评测经验、AI数据分析和市场研究经验加分；
2、较强数据分析与结构化总结思维，能从评测与线上数据、竞品数据中定位关键瓶颈，给出可执行改进路径；
3、有用户…

工作职责

1、建立并优化大模型评测体系和方法，设计科学的评估框架与指标体系，定义大模型效果的理想态和制定及优化评测标准，产出稳定可信的专业评测分析结论，提出可落地的模型能力提升与产品体验优化策略，并推动跨团队闭环落地；
2、高效承接大模型文本/图片/视频/语音方向的大模型评测业务需求，统筹多个评测项目的管理工作，独立承担评测策略及标准制定及优化、项目管理、流程优化、质量把控、报告撰写等工作；能够基于业务数据，进行模型效果评估、分析、问题定位及反馈；
3、持续跟进业界评测研究与方法论，结合实际业务场景迭代内部评测方案，探索更贴近真实用户体验的评测方法，与产品算法团队紧密合作，制定有效的数据策略，推动产品目标达成和大模型效果提升；
4、持续跟踪业务产品与技术动态，建立对标分析机制，输出趋势判断与策略建议，辅助产品方向制定决策。