快手（大模型专项）多模态AIGC算法工程师/专家
任职要求
1、在计算机视觉、多模态学习、深度学习等一个或多个领域有深入研究，包括但不限于：扩散模型（Diffusion Models）、图像/视频生成、检测与分割、多模态内容理解等； 2、对主流生成模型（如Stable Diffusion, DiT, Flux, VAE…
工作职责
1、参与电商多模态大模型（MLLMs）的持续预训练和指令微调（SFT），开发精准的商品图谱、用户意图理解、跨模态检索等核心能力，赋能搜索、推荐等业务； 2、负责多模态生成算法（如Diffusion Models, VAEs等）的研发与创新，致力于解决生成内容的质量、多样性、可控性、可编辑性及采样效率等前沿问题； 3、基于大模型构建文本/图像/视频多模态创作引擎，并推动其在电商业务场景的产品化落地，包括但不限于背景替换、虚拟试衣、图生视频、海报生成等创新应用； 4、通过DPO/PPO等强化学习算法，迭代Reward Model以指导多模态素材生成，引导模型生成更符合人类偏好、审美标准及业务目标的多模态内容，最终提升用户体验和商品转化率。
1、负责多模态生成算法研发，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、负责端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地； 3、负责百亿/千亿参数量的多模态生成大模型研发，实现关键技术突破，并将前沿算法技术转化为创新产品。
我们是谁 快手本身是一家以内容为主的公司，在大模型技术蓬勃发展的时代，多模态能力是快手非常重视的一个方向。目前团队主要的工作重心在视频理解和图片理解，包括短视频、长视频、直播、交互式视频等，主要的任务形态以Caption和QA为主，同时在生成类场景发挥着重要的作用。团队的主要工作围绕在数据组织、模型设计、训练范式设计上，会推出基座模型给到下游业务进行SFT，部分业务是紧密合作的。模型迭代会以业务反馈作为牵引，不断提升在自建指标和公开指标上的成绩。 职位描述 1、探索多模态理解任务上的自研数据构建、模型架构和训练范式，打造业界第一梯队的多模态大模型； 2、搭建更有针对性的评测，用于真实反映模型的实用效果，为模型训练提供指导方向； 3、强化Caption和QA能力，在图片/视频的理解/描述能力上赶超GPT4o、Gemini Pro等闭源模型的实际使用效果； 4、洞察业务需求，能够以业务目标为牵引持续迭代模型，在支持好业务的同时，发掘多模态的独立出圈应用玩法； 5、探索技术边界，将有特点的技术成果进行学术转化，在顶尖学术会议上发表论文，并保持与业界专家的交流。
1、数据策略制定与规划，与算法团队深度协同，负责多模态数据生产的规划与项目交付； 2、数据产线搭建、运行、交付与质量保障，设计数据产线，确保项目按计划、高质量交付，对最终交付结果负责；有系统性的数据运营方法论，通过建立深度的质量监控与反馈机制，确保生产效率与数据准确性； 3、持续优化数据生产的流程，沉淀最佳实践，不断优化效率与质量； 4、层次级的数据专家资源生态的搭建与管理，基于项目需求制定合理的任务定价、结算规则和资源数量规划； 5、成本投入策略设定与风险控制，实现项目成本的精细化运营，有效进行项目规划、风险预警与管理。
1. 评测体系设计与搭建: 负责设计和搭建业界领先的全模态（图文、音视频）大模型评测体系，建立科学、全面、高效的评测流程、标准和自动化平台。 2. 评测基准 (Benchmark) 建设: 主导全模态评测基准的建设，持续追踪和引入学界、业界最新成果，并结合业务场景，设计和构建能反映模型真实能力的评测数据集。 3. 核心能力度量: 深入研究全模态大模型的能力边界，设计创新性的评测方法和指标（Metrics），精准度量模型在跨模态理解、内容生成、多轮交互、逻辑推理、鲁棒性及安全性等维度的综合能力。 4. 技术落地与效率提升: 发挥强大的工程和动手能力，主导评测工具链和平台的开发与优化，实现评测流程的自动化和规模化，大幅提升评测效率和质量。 5. 跨团队协作: 与算法、工程、产品团队紧密合作，将评测结果有效转化为模型能力提升和用户体验优化的具体行动，共同打造顶尖的全模态AI产品。