快手多模态内容理解算法工程师/专家
任职要求
1、硕士及以上学历，有大规模模型训练、压缩、蒸馏、微调等经验，熟悉megatron、deepspeed等框架者优先； 2、精通至少一种技术语言，包括但不限于Java、C/C++、C#、Python等； 3、熟悉至少一种深度学习框架（如 TensorFlow、PyTorch），对深度学习基础理论和大规模实践有较深理解； 4、有较强的学术调研、文献阅读和算法实现能力，优秀的独立开发、调试能力，有高质量论文、开源项目、ACM竞赛经历、相关学术会议组织的权威比赛获奖经历或落地项目产出者优先。
工作职责
1、负责快手短视频多模态内容理解工作，应用计算机视觉、NLP、多模态融合等技术，提升短视频内容体系建设、推荐、搜索的效果和体验； 2、基于多模态模型在下游业务上的应用，包括并不限于多模态分类、标签、caption等文本生成等； 3、负责计算机多模态理解方向前沿问题的研究，参与建设并持续保持部门在多模态业界的技术先进性，保持创新的同时将业界SOTA模型持续优化并落地至线上获得收益。
负责图像、视频内容理解相关的大模型研发工作，包括但不限于视觉描述生成（Video Caption）、视觉问答（VQA）、多模态大模型（MLLM）等技术，通过内容理解相关算法在业务中的探索与应用，解决实际业务问题；
1、负责快手多媒体内容理解工作，应用计算机视觉、NLP、多模态融合等技术，提升短视频/直播内容体系建设、推荐、搜索的效果和体验； 2、负责快手多媒体相关的内容理解、语义理解的相关算法的研发，包括但不限于视频多分类、视频多标签、视频多模态embedding学习； 3、负责计算机多模态方向前沿问题的研究，参与建设并持续保持部门在多模态业界的技术先进性，保持创新的同时将业界SOTA模型持续优化并落地至线上获得收益。
1、参与电商多模态大模型（MLLMs）的持续预训练和指令微调（SFT），开发精准的商品图谱、用户意图理解、跨模态检索等核心能力，赋能搜索、推荐等业务； 2、负责多模态生成算法（如Diffusion Models, VAEs等）的研发与创新，致力于解决生成内容的质量、多样性、可控性、可编辑性及采样效率等前沿问题； 3、基于大模型构建文本/图像/视频多模态创作引擎，并推动其在电商业务场景的产品化落地，包括但不限于背景替换、虚拟试衣、图生视频、海报生成等创新应用； 4、通过DPO/PPO等强化学习算法，迭代Reward Model以指导多模态素材生成，引导模型生成更符合人类偏好、审美标准及业务目标的多模态内容，最终提升用户体验和商品转化率。
团队介绍：字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索算法创新和架构研发工作。我们使用最前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1）探索最前沿的NLP技术：从基础的分词、NER，到应用上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2）探索跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，让视频搜索拥有更强大的检索能力；3）探索大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4）探索千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务，方方面面都进行深入研究和创新。 1、探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索LLM适性索引、LLM相关性、生成式召回、排序大模型等； 2、构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、训练和优化AI搜索的机器学习模型（多模态内容理解、指令微调、索引筛选、Query分析、Scalable Oversight、Long CoT、模型推理/规划、模型优化、构建全面客观准确的评测体系等）； 3、探索推进AI搜索、AIGC创新应用的落地（包含而不限于豆包、电商、抖音、智能硬件、AI找搭配/虚拟穿搭等大模型应用场景），研发以人工智能技术为核心的新技术、新产品，探索满足用户的智能交互需求，提升现实与物理世界的交互能力。