阿里巴巴晓天衡宇-多模型评测专家-世界模型-Directing

任职要求

" 1. 计算机视觉 / 图形学 / 物理学 / 多媒体等相关专业,硕士及以上学历。
 2. 具备多模态 / 视频生成方向的评测经验,理解视频质量、时序一致性、运动合理性等评估维度。
 3. 有评测体系 / 基准(benchmark)从 0 到 1 搭建经验,能独立定义评测标准与流程。
 4. 具备评测项目管理与统筹能力,能协调算法、产品、标注多方推进落地。
 5. 结果导向、逻辑清晰,对模型能力边界有敏锐判断,能把定性问题转化为定量结论。

  加分…

工作职责

"1. 负责世界模型 / 视频生成模型的评测体系建设:搭建并迭代端到端评测框架,覆盖画面、动作、时序一致性、指令遵循、音画协同等多维度,支撑模型版
  本迭代决策与能力短板定位。
  2. 制定评测标准与规则:定义评测维度体系与打分口径(rubric),牵头产品、算法、评测多方对齐,形成可复用、可量化的评测基准。
  3. 构建与维护评测集:面向影视 / 剧情 / 表演等真实场景,结合线上数据分布构建分场景、分难度的评测题库,并持续迭代。
  4. 组织评测执行与质量管理:统筹人工评审流程(多轮评审 + 定标),管理评测团队与供应商,建立复盘培训机制保障评测一致性。
  5. 推动评测提效:探索 LLM / 多模态大模型自动化评测(机评)与人评结合,降低评测成本、提升出数速度;沉淀竞品对标分析。"