快手多模态大模型算法工程师-【可灵AI-数据效能研究方向】
任职要求
1、具有计算机、人工智能、统计学等相关专业硕士及以上背景,理解深度学习与多模态模型基本原理; 2、熟练掌握 Python/PyTorch,具备扎实的数据分析能力,对模型训练数据的分布、质量与信号敏感度有较强理解力; 3、对数据效能、数据选择、数据蒸馏、合成数据、self-supervised 等方向有浓…
工作职责
1、数据效能研究(Data Efficiency):基于多模态大模型训练过程,分析不同模态数据的有效性、信息增益与贡献度;参与数据选择、数据蒸馏、难例挖掘等前沿技术探索,提升训练效率与模型表现; 2、数据–模型协同设计(Co-Design):与模型团队协作,从训练曲线、梯度信号与分布特征中反推数据质量,研究分阶段(预训练/SFT/对齐)数据策略,设计高效的数据结构与采样机制; 3、高质量数据构建(Data Quality Engineering):参与多模态数据 pipeline,包括自动标注、Caption 生成、数据去噪与一致性检查;探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式; 4、多模态数据分析(Multimodal Analytics):对训练数据进行覆盖度、偏差与难度分析,构建可视化与指标体系,为模型能力诊断与数据重构提供依据。
1、大规模视频理解:负责可灵海量视频数据的打标分类、语义分割、文字识别、Caption生成、聚类分析等工作; 2、模型开发与优化:基于CNN、VLM等技术推进模型训练、微调、评测及高效部署,推动模型在实际场景中的大规模应用; 3、技术研究与创新:聚焦多模态视频生成领域前沿课题,探索生成模型的数据采样技术,提升生成模型的数据使用效率和语义响应能力,打造在业界的领先技术优势; 4、跨领域协作:参与跨团队跨部门技术协同,推动Human in the loop在视频生成领域的研究落地。
1、大规模视频理解:负责可灵海量视频数据的打标分类、语义分割、文字识别、Caption生成、聚类分析等工作; 2、模型开发与优化:基于CNN、VLM等技术推进模型训练、微调、评测及高效部署,推动模型在实际场景中的大规模应用; 3、技术研究与创新:聚焦多模态视频生成领域前沿课题,探索生成模型的数据采样技术,提升生成模型的数据使用效率和语义响应能力,打造在业界的领先技术优势; 4、跨领域协作:参与跨团队跨部门技术协同,推动Human in the loop在视频生成领域的研究落地。
1、数据pipeline建设:负责视频生成大模型的训练数据构建与管理,参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源,设计有效的数据分布策略,支持模型的持续迭代; 2、数据分布分析:对模型训练数据分布进行详细分析,识别数据偏差、不均衡及潜在问题。提供数据分布的可视化报告及改进建议,确保模型训练数据覆盖目标场景和多样性需求; 3、用户数据分析:分析用户交互数据,评估视频生成效果与用户满意度,提取用户反馈中的数据优化方向。构建用户行为分析模型,探索用户需求变化并为模型优化提供参考; 4、优化模型生成效果:构建数据飞轮。通过数据驱动的方法优化视频生成大模型效果,结合A/B测试等手段验证调整效果。与算法工程师合作,制定数据调整与扩展策略,提升模型在真实场景中的生成能力。
负责可灵AI的多源数据,线上用户反馈数据采集,挖掘和分析。通过数据挖掘、统计分析和可视化工具,完善可灵AI数据闭环链路,为可灵AI的数据侧提供战略决策和业务优化提供数据支持。 1、数据pipeline构建:负责视频生成大模型的训练数据构建与管理,参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源,设计有效的数据分布策略,支持模型的持续迭代; 2、数据分布分析:对模型训练数据分布进行详细分析,识别数据偏差、不均衡及潜在问题。提供数据分布的可视化报告及改进建议,确保模型训练数据覆盖目标场景和多样性需求; 3、用户数据分析:分析用户交互数据,评估视频生成效果与用户满意度,提取用户反馈中的数据优化方向。构建用户行为分析模型,探索用户需求变化并为模型优化提供参考; 4、优化模型生成效果:构建数据飞轮。通过数据驱动的方法优化视频生成大模型效果,结合A/B测试等手段验证调整效果。与算法工程师合作,制定数据调整与扩展策略,提升模型在真实场景中的生成能力。