米哈游AI 模型评测专家 - 星布谷地
任职要求
1）本科及以上学历，计算机科学、人工智能、NLP、数据科学等相关专业 2）2年以上AI/NLP领域相关经验，有大模型评测体系搭建、模型质量保障、或对话系统评估的实际项目经验 3）有开放域对话、角色扮演、或聊天产品相关的评测或业务经验，深刻理解无标准答案场景下的评估难点与方法论 4）具备模型训练经验（SFT/RLHF/DPO），能够训练或微调评测用小模型（如 Reward Model、分类器等），了解 LLM 基本原理与 Agent 构建 5）熟悉人工评估流程设计与标注管理，有过标注方案设计、标注质量控制、标注数据管理的经验 6）熟悉 LLM-as-Judge、基于 Rubric 的生成式评估等自动化评测方法，有实际落地经验 7）掌握 Python 等编程语言，具备自动化评测脚本…
工作职责
1）评测体系搭建：负责游戏体验与角色扮演场景下大模型的全链路评测体系建设，设计覆盖多维度的评测指标体系（如角色一致性、对话连贯性、情感表现力、安全性、创意性等），建立从数据构建→评测执行→结果分析→问题定位→模型迭代的完整评测流水线 2）自动化评测方案：设计并落地多层级自动化评测方案，包括但不限于：基于规则/脚本的自动化测试、训练专用评测小模型（Reward Model/Classifier）、基于大语言模型的 LLM-as-Judge 评估、基于 Rubric 的生成式评分方案，持续提升评测效率与覆盖度 3）人工评估与标注管理：设计人工评估方案与标注规范，管理标注团队与标注流程，建立人工评估与自动化评估的校准机制，确保评测结果的可靠性与一致性 4）数据飞轮与持续迭代：构建"评测—发现问题—数据积累—模型优化—再评测"的数据飞轮闭环，系统性沉淀 Bad Case 库、评测集、评测基准，支撑模型团队快速实验迭代 5）深度分析与问题定位：深入分析评测结果，挖掘模型在开放域对话中的能力短板（如记忆遗忘、共情差、逻辑冲突等），输出可执行的优化建议，与算法、产品团队协作推动模型持续改进 6）前沿跟踪与方法创新：跟踪业界对话/角色扮演评测的前沿方法（如 Agent 评估框架、多轮对话评估基准、主观开放域评估方法论），引入并适配适合游戏场景的评测工具与方法
1、协同团队构建科学高效的AI大模型评测体系 · 协同推进大模型各主要方向（文本、多模态、Coding、智能体等）的评测框架设计，持续优化评测指标、数据集和评测方法； · 识别现有公开评测体系的局限性，探索并建设更真实有效的私有评测指标和数据集； 2、模型能力分析 · 与评测团队紧密协作，根据模型能力和实际需求设计、验证、持续迭代优化评测体系； · 结合评测结果对模型能力进行分析诊断，为管理团队和业务团队提供有价值信息； 3、关注业界前沿发展，持续迭代评测体系 · 持续跟踪全球大模型、Agent领域的技术发展和评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、协同团队构建科学高效的AI大模型评测体系 · 协同推进大模型各主要方向（文本、多模态、Coding、智能体等）的评测框架设计，持续优化评测指标、数据集和评测方法； · 识别现有公开评测体系的局限性，探索并建设更真实有效的私有评测指标和数据集； 2、模型能力分析 · 与评测团队紧密协作，根据模型能力和实际需求设计、验证、持续迭代优化评测体系； · 结合评测结果对模型能力进行分析诊断，为管理团队和业务团队提供有价值信息； 3、关注业界前沿发展，持续迭代评测体系 · 持续跟踪全球大模型、Agent领域的技术发展和评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、搭建具有通用性和可拓展性的语音大模型数据标注和模型评测框架（NLP、TTS、ASR等方向），与算法团队对齐标准、撰写相关培训方案，根据模型迭代方向提供高质量数据，对自动化链路搭建、数据质量评估及外部资源管理负责； 2、结合行业趋势及业务应用场景，迭代更新评测标准、构建评测题库，负责语音大模型效果评测，定期反馈评估结果，产出评估报告，确保大模型评估结果置信； 3、通过PE、代码、Workflow、Agent完成数据预处理、分析和清洗，按照训练需求进行标注、分析和验证调优，提升模型效果； 4、与产品算法团队协同，积极探索自动化数据生产/模型评估、数据合成等方法，提高数据标注/评测效率，持续跟踪大模型技术进展，持续探索智能高效的数据生产模式。
评测体系建设 深入理解公司 AI 产品业务场景，结合多模态大模型技术发展趋势，设计并持续完善模型评测体系，包括评测维度、指标定义、评测流程与方法论，确保评测结果能够客观反映模型能力变化与关键问题。 数据与评测标准建设 负责多模态大模型训练与评测数据的质量体系建设，包括数据标注规范制定、评测标准设计及数据集构建与优化，沉淀高质量数据资产，为模型训练与评测提供可靠基础。 模型评测与效果分析 联合产品与算法团队开展离线评测、场景评测及对比评测，系统分析模型表现与能力边界，输出结构化评测报告，支持模型迭代与产品优化。 评测场景与Benchmark构建 围绕核心业务场景构建评测任务与Benchmark体系，持续扩展评测覆盖范围，确保评测体系能够真实反映用户场景与模型能力。 数据驱动的优化闭环与行业对标 与算法、产品和数据团队协作，通过评测定位模型问题并推动数据补充与模型优化，建立“评测—分析—优化—复评”的迭代闭环，同时持续跟踪行业评测方法与Benchmark，优化内部评测框架。