快手多模态大模型算法工程师-【可灵AI-数据效能研究方向】
任职要求
1、具有计算机、人工智能、统计学等相关专业硕士及以上背景，理解深度学习与多模态模型基本原理； 2、熟练掌握 Python/PyTorch，具备扎实的数据分析能力，对模型训练数据的分布、质量与信号敏感度有较强理解力； 3、对数据效能、数据选择、数据蒸馏、合成数据、self-supervised 等方向有浓…
工作职责
1、数据效能研究（Data Efficiency）：基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现； 2、数据–模型协同设计（Co-Design）：与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制； 3、高质量数据构建（Data Quality Engineering）：参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式； 4、多模态数据分析（Multimodal Analytics）：对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。
1、了解多模态内容生成相关算法，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、了解端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地。
1、参与智能创作Agent核心系统的研发与迭代，学习如何融合多模态理解、交互与生成能力，探索AI在内容创作中的应用场景； 2、协助搭建创作领域的多模态认知体系，结合行业知识库，理解镜头美学、剪辑节奏、叙事逻辑等要素，支持图片/视频/音乐生成模型的优化与应用； 3、参与大模型后训练相关探索（如SFT、RLHF 等），通过高质量数据合成、指令设计、偏好对齐等方法，提升Agent的长推理和复杂规划能力； 4、参与Agent相关核心模块的开发与实验，包括任务编排、工具调用、多Agent协作、长期记忆和个性化能力探索。
1、负责快手可灵/可图大模型的实时化加速需求, 包括但不限于推理步数优化, 稀疏attn, 超分等； 2、负责大模型的无损压缩微调训练, 包括但不限于实现 低精度QAT训练, LoRA/DPO微调等 ； 3、负责快手内部文本及多模态大模型的优化需求, 包括但不限于: LLM吞吐/延时优化, 长文本 KV-cache 优化, LLM 显存优化。
1、数据特征算法方案制定与效果优化：针对不同模态、多种类目的数据，设计自动化筛选方案；对多模态数据涉及的前沿特征算法（如物体跟踪、ID 重识别、音频分离）进行场景化效果优化。与算法工程师协作，制定数据调整与扩展策略，提升模型在真实场景中的生成能力； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，支持模型持续迭代； 3、数据分布分析：对模型训练数据分布进行详细分析，识别数据偏差、不均衡及潜在问题。提供可视化报告及改进建议，确保训练数据覆盖目标场景并满足多样性需求，最终通过数据驱动方法优化视频生成大模型效果。