快手大模型评测工程师-【可灵AI专项】
任职要求
1、本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先； 2、优秀的代码基础，至少掌握一门高级语言， 包括Python、C/C++、 Java； 3、了解 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理； 4、具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式； 5、良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，逻辑清晰、善…
工作职责
1、负责大模型（包括不限于T2V、I2V、MLLM模型）评测工作和评测体系建设，包括设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设； 5、站在用户角度，对产品、算法发提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。
音视频生成大模型评测体系建设与演进及业务保障，负责包括但不限于视频生成大模型中音频生成模块（Audio Gen）及音视频一体化的算法效果。不仅是评测的执行者，更是评测体系的架构师，通过深度的算法归因分析，驱动音频 VAE等核心组件的算法优化和迭代。 1、音视频一体化评测体系建设： 1）音频生成与音频理解相关算法、评测方法及评测指标体系具有深入理解，熟悉常见视频与音频质量评估方法，能够结合业务场景设计合理的评测方案； 2）建立从底层算子（VAE, Latent Space）到上层生成效果的全链路评测标准； 3）定义并量化音画同步性、语义关联度、音频美学表现力等关键维度； 2、Benchmark 与方法论沉淀： 1）构建具有行业领先水平的音频生成 Benchmark，涵盖音乐、环境音、音效（SFX）及人声等； 2）沉淀主客观结合的评测方法论，包括客观指标（FAD、KL Divergence、IS、CLAP Score）与专家级主观评价量表（MOS, MUSHRA）； 3、深度诊断与归因分析：输出专业评测报告，深度分析，定位模型缺陷，如针对音频 VAE 压缩失真、音频扩散模型频谱缺失、相位扭曲等问题进行深度诊断，并给出改进建议； 4、前瞻性调研与实验：持续跟踪 AIGC 领域（如 ElevenLabs、Suno、Stable Audio等）前沿技术动态，将行业最新的模型能力和技术路线转化为可落地的评测方案； 5、评测工具与平台化驱动：参与或主导自动化评测工具与平台的开发，利用技术手段提升大规模音视频数据的评测效率，探索基于大模型的自监督评测（LLM-as-a-judge）等创新手段。
1、以算法视角，参与快手大模型文生图、可控式编辑评测工作和评测体系建设； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。
1、产品战略与规划：深入洞察AIGC行业趋势、用户需求和竞争格局，负责AI创作工具/Agent（Web 端）的中长期产品规划和迭代路线图； 2、核心功能与体验设计： 负责AI创作工具核心功能的完整生命周期，通过对模型能力和用户痛点的挖掘，系统性地优化用户创作体验，并探索与定义前沿的AI原生交互模式； 3、一体化工作流构建：规划并推动图像与视频生成工作流的深度整合方案，打造连贯、高效的一体化创作体验，构建平台的核心竞争壁垒； 4、模型效果定义与驱动：与算法团队紧密协作，将用户场景和产品需求，转化为清晰、可量化的模型效果评估标准。通过建立评测体系和反馈闭环，持续驱动算法模型在美学、可控性、真实感等方面的迭代精进； 5、数据驱动与用户洞察：深度挖掘用户行为数据，结合定性/定量的用户研究和A/B测试，科学地评估产品表现，精准洞察用户核心意图与痛点，发现增长机会并驱动产品决策； 6、跨团队协同与项目管理：作为项目核心，高效地与算法、工程、设计、运营、法务等团队沟通协作，确保产品高质量、按时交付，并达成预期的业务和数据目标。
1、产品战略与规划： 深入洞察AIGC行业趋势、用户需求和竞争格局，负责AI图像生成模型及相关应用功能（Web & App）的中长期产品规划和迭代路线图； 2、核心功能与体验设计： 负责AI图像生成核心功能的完整生命周期，通过提升模型的可控性、表现力和易用性，系统性地优化用户创作体验，并探索与定义前沿的AI原生交互模式； 3、一体化工作流构建： 规划并推动图像与视频生成工作流的深度整合方案，打造连贯、高效的一体化创作体验，构建平台的核心竞争壁垒； 4、模型效果定义与驱动： 与算法团队紧密协作，将用户场景和产品需求，转化为清晰、可量化的模型效果评估标准。通过建立评测体系和反馈闭环，持续驱动算法模型在美学、可控性、真实感等方面的迭代精进； 5、数据驱动与用户洞察： 深度挖掘用户行为数据，结合定性/定量的用户研究和A/B测试，科学地评估产品表现，精准洞察用户核心意图与痛点，发现增长机会并驱动产品决策； 6、跨团队协同与项目管理： 作为项目核心，高效地与算法、工程、设计、运营、法务等团队沟通协作，确保产品高质量、按时交付，并达成预期的业务和数据目标。