快手(大模型专项）多模态大模型算法工程师
任职要求
1、硕士及以上学历，有较强的代码动手开发能力，对多模态大模型基座能力提升有较高的热情； 2、熟悉计算机视觉相关的算法和技术，有自然语言处理和大模型训练经验； 3、良好的沟通协作能力，能够与团队紧密合作，共同推进项目进展； 4、在ACM/ICPC、Top Coder、Kaggle等比赛中取得过良好成绩是加分项； 5、在大模型领域，有主导过具有重要影响力的项目或发表过相关论文是加分项。
工作职责
我们是谁 快手本身是一家以内容为主的公司，在大模型技术蓬勃发展的时代，多模态能力是快手非常重视的一个方向。目前团队主要的工作重心在视频理解和图片理解，包括短视频、长视频、直播、交互式视频等，主要的任务形态以Caption和QA为主，同时在生成类场景发挥着重要的作用。团队的主要工作围绕在数据组织、模型设计、训练范式设计上，会推出基座模型给到下游业务进行SFT，部分业务是紧密合作的。模型迭代会以业务反馈作为牵引，不断提升在自建指标和公开指标上的成绩。 职位描述 1、探索多模态理解任务上的自研数据构建、模型架构和训练范式，打造业界第一梯队的多模态大模型； 2、搭建更有针对性的评测，用于真实反映模型的实用效果，为模型训练提供指导方向； 3、强化Caption和QA能力，在图片/视频的理解/描述能力上赶超GPT4o、Gemini Pro等闭源模型的实际使用效果； 4、洞察业务需求，能够以业务目标为牵引持续迭代模型，在支持好业务的同时，发掘多模态的独立出圈应用玩法； 5、探索技术边界，将有特点的技术成果进行学术转化，在顶尖学术会议上发表论文，并保持与业界专家的交流。
1、参与电商多模态大模型（MLLMs）的持续预训练和指令微调（SFT），开发精准的商品图谱、用户意图理解、跨模态检索等核心能力，赋能搜索、推荐等业务； 2、负责多模态生成算法（如Diffusion Models, VAEs等）的研发与创新，致力于解决生成内容的质量、多样性、可控性、可编辑性及采样效率等前沿问题； 3、基于大模型构建文本/图像/视频多模态创作引擎，并推动其在电商业务场景的产品化落地，包括但不限于背景替换、虚拟试衣、图生视频、海报生成等创新应用； 4、通过DPO/PPO等强化学习算法，迭代Reward Model以指导多模态素材生成，引导模型生成更符合人类偏好、审美标准及业务目标的多模态内容，最终提升用户体验和商品转化率。
1、负责多模态生成算法研发，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、负责端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地； 3、负责百亿/千亿参数量的多模态生成大模型研发，实现关键技术突破，并将前沿算法技术转化为创新产品。
1、负责基于LLM及多模态大模型的应用落地相关工作，利用大语言模型及多模态大模型微调、prompts调优、指令构建及演化技术，将大模型的生成、理解、交互能力在公司核心场景中落地赋能，创造收益增长； 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建，包括但不限于Agents 、RAG、 function call、system prompts等，探索大模型应用前沿及新兴应用场景。
1、负责快手可灵/可图大模型的实时化加速需求, 包括但不限于推理步数优化, 稀疏attn, 超分等； 2、负责大模型的无损压缩微调训练, 包括但不限于实现 低精度QAT训练, LoRA/DPO微调等 ； 3、负责快手内部文本及多模态大模型的优化需求, 包括但不限于: LLM吞吐/延时优化, 长文本 KV-cache 优化, LLM 显存优化。