阿里巴巴数据技术及产品部-大模型评测专家-多模态
任职要求
1.影视专业相关专业背景，具有多模态算法经验是加分项 2.对于多模态大模型…
工作职责
1.承接多模态大模型的数据生产，如图片/视频/音乐的生成及理解模型数据，具备丰富的标注评测团队管理经验，从数据交付提升模型性能 2.开展多模态能力评测建设，能够从图片/视频/音乐专业层面设计专业评测方案，并带领专家开展专业的评测服务 3.建设多模态评测维度、指标体系、业务评测集并开展深入的评测分析工作。产出评测报告，学术benchmark等有影响力的创新工作
1. 主导面向文生图/文生视频等多模态生成场景评测体系设计，定义核心能力维度，将模型生成能力转化为可量化指标。 2. 设计覆盖文生视频、图生视频、多模态条件生成、创意内容生成等真实场景的评测任务，覆盖写实、艺术风格、特效、动画等多种方向。 3. 主导基座模型评测方案的设计与执行，包括 Arena 对战评测（ELO 排名）、GSB（Good/Same/Bad）对比评测、MOS（Mean Opinion Score）主观质量评分等，确保评测方法的统计显著性与结果可信度。 4. 深入创作者社区收集反馈与失败案例，对 Bad Case 做分类与归因形成产品问题清单。 5. 建立评测数据质量管控与版本管理机制，定期更新评测集以覆盖新创意方向与产品功能。 6. 与产品、设计、算法团队紧密协作，在新模型上线前完成评测，提供数据驱动的优先级建议。
1. 主导多模态理解大模型评测体系设计，从真实用户场景出发定义核心能力维度，将体验痛点转化为可量化的评测指标。 2. 设计覆盖信息检索、内容理解、文档分析、视频摘要、富媒体问答等高频场景的评测任务，推动评测从"学术任务"向"产品体验"演进。 3. 持续挖掘真实使用中的 Bad Case，做系统性分类与归因，形成问题清单与改进优先级。 4. 建立评测数据质量管控与版本管理机制，定期更新评测集以覆盖新场景与新模态组合。 5. 与产品、算法团队紧密协作，在新模型上线前完成评测，提供数据驱动的优先级建议。
1.开展音频模型能力评测建设，基于评测的错误类型、分布，能针对性构建音频数据，提高模型特定表现，并能够通过对数据有效性的评测，验证数据有效性； 2.建设AI音频应用业务评测维度、指标体系、业务评测集并开展深入的评测分析工作。产出评测报告，学术benchmark等有影响力的创新工作。
1.开展音频模型能力评测建设，基于评测的错误类型、分布，能针对性构建音频数据，提高模型特定表现，并能够通过对数据有效性的评测，验证数据有效性； 2.建设AI音频应用业务评测维度、指标体系、业务评测集并开展深入的评测分析工作。产出评测报告，学术benchmark等有影响力的创新工作。