字节跳动视频创作多模态大模型实习生-智能创作-筋斗云人才计划
任职要求
1、2026届及以后毕业，博士在读，计算机视觉、人工智能、大模型等相关专业优先； 2、积极主动有热情，能与团队融洽合作相处, 具备较强的沟通能力； 3、有LLM/MLLM等多模态理解技术背景，或…
工作职责
团队介绍：智能创作团队是字节跳动的创作场景业务中台，以AI赋能创造，致力于通过AI技术降低创作门槛，赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线，持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景，通过由AI驱动的智能化工具与算法，为用户提供了更智能、更便捷、更丰富的创作体验，助力普通用户轻松实现高质量内容创作，同时为专业创作者提供强大的技术支持，推动内容生态的繁荣与创新。 课题介绍： 背景： 视频创作是内容平台生态的最关键环节。随着AGI大模型技术的发展，行业内AI视频创作Workflow不断革新，传统的视频剪辑工具面临严峻行业挑战。AI Native视频创作大模型技术，旨在研发一套基于大模型的视频创作系统，来改善用户创作过程中灵感匮乏、创作提质提效及降低门槛使人人都是优质创作者等难点问题。应用上，可落地支持抖音、剪映Capcut、Flow等业务的图片与视频创作工具，形成公司关键业务场景的核心生态壁垒。 课题挑战： 1、中长视频多模态理解能力：创作场景需要对用户素材充分理解，因此大模型需要对输入视频的画面、声音及语音等能充分理解，具备素材剪辑处理的通用理解能力； 2、创作领域专业Agent能力: 大模型需要具备创作领域AGI的潜力，对于营销、UGC、PGC等不同创作场景，模型需要具备优质视频创作知识储备，能基于原子能力Tools规划合理的Action Sequence完成创作； 3、多模态输出能力：在视频创作领域，需要进行视频效果包装，因此模型需要具备输出音效/声音/文字贴纸/转场特效等能力； 4、高效率模型推理：由于输入视频时长较长，任务复杂，考虑应用落地成本，模型在处理长Context的推理效率与实际效果的Trade-off依赖技术突破。
目前主流的素材混剪能力主要依赖于素材的端内容理解、表征匹配、高光检测等能力帮助一键完成整个视频剪辑过程，偏模板化，且预定义较为死板，无法支持更丰富的信息量注入，以及用户自主输入剪辑要求。 本课题希望通过大语言模型的语义指令解析能力，开放基于可自定义prompt的视频编辑能力，通过指令分解、协同主题文案生成的方式，帮助完成带有故事感文案生成能力的视频剪辑功能。主要的技术难点包括： 1、多模态理解与表征：需要模型能够深入理解不同模态内容(视频片段、图像、音频)的语义和上下文； 2、时序理解与编辑：视频混剪需要理解时序信息，包括情节发展、节奏感、转场点等； 3、文案生成和改写：可自定义主题、风格的素材文案生成能力。
1. 负责小红书站内搜索广告智能创意，在搜索场景下对小红书站内广告文案、视频、图片等素材进行内容理解，并生成投放高竞争力素材，提高转换效率。 2. 负责广告创作平台的算法能力优化，利用算法能力为广告主提供投前、投中、投后各类洞察或者提效功能。 3. 追踪业界创意、多模态及Generative AI方向最新技术，落地应用并提升广告创意理解、自动生成和优化等场景的效果。
1、基于快手自研的文生视频（可灵）、文生图（可图）、文生文（快意）等大语言模型和多模态模型，研发包含多媒体素材AIGC自动化创作系统与工具平台和 Chatbot、VideoCaption、VQA 等各类形态的工业级 AI Agent 系统，并应用于快手生态的内容生产与消费、内容理解与素材挖掘等各类业务场景； 2、参与研发AIGC、AI Agent等系统所依赖的关键子系统，并于算法团队合作持续迭代AIGC的内容质量与效果、AI Agent的智能化效果； 3、跟踪业界AIGC、AI Agent等内容成产、智能体的前沿进展，并将最新的大模型技术能力引入到实际业务场景中。
1、基于快手自研的文生视频、文生图、文生文等大语言模型和多模态模型，研发包含多媒体素材AIGC自动化创作系统与工具平台和 Chatbot、VideoCaption、VQA 等各类形态的工业级 AI Agent 系统，并应用于快手生态的内容生产与消费、内容理解与素材挖掘等各类业务场景； 2、参与研发AIGC、AI Agent等系统所依赖的关键子系统，并与算法团队合作持续迭代AIGC的内容质量与效果、AI Agent的智能化效果； 3、跟踪业界AIGC、AI Agent等内容成产、智能体的前沿进展，并将最新的大模型技术能力引入到实际业务场景中。