快手多模态数据算法工程师-【可灵AI】
任职要求
1、硕士以上学历，计算机、人工智能、计算机视觉、数学等相关专业，具备多模态理解、视觉生成相关基础； 2、熟悉视频生成基础模型如SVD、Sora、Meta Moviegen、Hunyun Video等； 3、熟悉多模态大语言模型（DeepSeek/…
工作职责
1、为视觉生成模型构建高质量训练数据，兼顾多模态理解与生成相关工作，优化视觉生成模型的数据构建 pipeline，为模型性能提升提供可靠的数据支撑； 2、设计并落地数据有效性验证方案，验证数据对视觉生成模型训练的实际作用，探索数据在模型训练中的有效性； 3、在顶会顶刊上发表研究成果和开源代码，提升团队在多模态视频生成等领域的学术声望。
1、负责海量多模态数据（视频、图片、音频等）的采集、清洗、去燥、标注与增强，构建高置信度训练数据集，支撑大模型训练与优化； 2、构建领域数据集，优化数据分布与质量，解决数据稀疏性、偏差性等问题； 3、分析模型训练中的数据瓶颈，提出改进方案。
1、数据效能研究（Data Efficiency）：基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现； 2、数据–模型协同设计（Co-Design）：与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制； 3、高质量数据构建（Data Quality Engineering）：参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式； 4、多模态数据分析（Multimodal Analytics）：对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。
1、对接视频/图片/音频等各类多模态模型的数据生产需求，打造业界领先的多模态数据生产引擎，持续提升训练数据的规模、质量和迭代效率，支撑可灵全系多模态生成模型训练； 2、搭建 Data Centric 的多模态数据处理 pipeline，包括数据处理算子开发、跨模态检索引擎开发、多模态数据的内容理解、质量筛选、组织与合成等关键环节； 3、构建高可用、高吞吐的数据算法服务框架，支持多模态模型服务的快速部署，通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等； 4、设计并实现高可扩展、低成本的多模态数据存储架构，支持对象存储、文件系统及数据库技术的融合应用，参与多模态数据管理体系的建设，实现统一的元数据标准、数据编目、版本控制和生命周期管理； 5、构建跨模态数据关联与检索能力，支持基于内容的相似性搜索、标签检索和多模态联合查询； 6、跟踪业界前沿技术（如向量数据库、云原生存储、数据湖仓一体等），推动系统持续演进。
1、大规模视频理解：负责可灵海量视频数据的打标分类、语义分割、文字识别、Caption生成、聚类分析等工作； 2、模型开发与优化：基于CNN、VLM等技术推进模型训练、微调、评测及高效部署，推动模型在实际场景中的大规模应用； 3、技术研究与创新：聚焦多模态视频生成领域前沿课题，探索生成模型的数据采样技术，提升生成模型的数据使用效率和语义响应能力，打造在业界的领先技术优势； 4、跨领域协作：参与跨团队跨部门技术协同，推动Human in the loop在视频生成领域的研究落地。