快手（大模型专项）多模态大模型算法专家
任职要求
1、硕士及以上学历，有大规模模型训练、压缩、蒸馏、微调等经验，熟悉megatron、deepspeed等框架者优先； 2、有较强的学术调研、文献阅读和算法实现能力，优秀的独立开发、调试能力…
工作职责
1、负责快手多模态大模型预训练和对齐相关的工作，包括但不限于：多模态预训练、视觉预训练、文本预训练、多模态对齐等； 2、负责快手百亿规模多模态数据处理和清洗工作，包括图文数据、网页数据、短视频等多模态数据相关性、数据质量建设等等； 3、负责将多模态大模型落地到快手推荐、搜索、电商、商业化等应用场景，从预训练层面提升各个场景的内容理解能力； 4、负责跟进多模态大模型的前沿研究，保持部门在大模型方面的技术领先。
我们是谁 快手本身是一家以内容为主的公司，在大模型技术蓬勃发展的时代，多模态能力是快手非常重视的一个方向。目前团队主要的工作重心在视频理解和图片理解，包括短视频、长视频、直播、交互式视频等，主要的任务形态以Caption和QA为主，同时在生成类场景发挥着重要的作用。团队的主要工作围绕在数据组织、模型设计、训练范式设计上，会推出基座模型给到下游业务进行SFT，部分业务是紧密合作的。模型迭代会以业务反馈作为牵引，不断提升在自建指标和公开指标上的成绩。 职位描述 1、探索多模态理解任务上的自研数据构建、模型架构和训练范式，打造业界第一梯队的多模态大模型； 2、搭建更有针对性的评测，用于真实反映模型的实用效果，为模型训练提供指导方向； 3、强化Caption和QA能力，在图片/视频的理解/描述能力上赶超GPT4o、Gemini Pro等闭源模型的实际使用效果； 4、洞察业务需求，能够以业务目标为牵引持续迭代模型，在支持好业务的同时，发掘多模态的独立出圈应用玩法； 5、探索技术边界，将有特点的技术成果进行学术转化，在顶尖学术会议上发表论文，并保持与业界专家的交流。
1、参与电商多模态大模型（MLLMs）的持续预训练和指令微调（SFT），开发精准的商品图谱、用户意图理解、跨模态检索等核心能力，赋能搜索、推荐等业务； 2、负责多模态生成算法（如Diffusion Models, VAEs等）的研发与创新，致力于解决生成内容的质量、多样性、可控性、可编辑性及采样效率等前沿问题； 3、基于大模型构建文本/图像/视频多模态创作引擎，并推动其在电商业务场景的产品化落地，包括但不限于背景替换、虚拟试衣、图生视频、海报生成等创新应用； 4、通过DPO/PPO等强化学习算法，迭代Reward Model以指导多模态素材生成，引导模型生成更符合人类偏好、审美标准及业务目标的多模态内容，最终提升用户体验和商品转化率。
1、负责多模态生成算法研发，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、负责端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地； 3、负责百亿/千亿参数量的多模态生成大模型研发，实现关键技术突破，并将前沿算法技术转化为创新产品。
1、负责基于LLM及多模态大模型的应用落地相关工作，利用大语言模型及多模态大模型微调、prompts调优、指令构建及演化技术，将大模型的生成、理解、交互能力在公司核心场景中落地赋能，创造收益增长； 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建，包括但不限于Agents 、RAG、 function call、system prompts等，探索大模型应用前沿及新兴应用场景。