字节跳动视频创作多模态大模型实习生-智能创作-筋斗云人才计划
任职要求
1、2026届及以后毕业,博士在读,计算机视觉、人工智能、大模型等相关专业优先; 2、积极主动有热情,能与团队融洽合作相处, 具备较强的沟通能力; 3、有LLM/MLLM等多模态理解技术背景,或大规模模型训练实际项目经验者优先; 4、在TPAMI/CVPR/NeurIPS/ICCV/ICML/ICLR等顶级期刊会议上发表相关论文者优先; 5、富有钻研与创新精神,对行业新技术充满热情。
工作职责
团队介绍:智能创作团队是字节跳动的创作场景业务中台,以AI赋能创造,致力于通过AI技术降低创作门槛,赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线,持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景,通过由AI驱动的智能化工具与算法,为用户提供了更智能、更便捷、更丰富的创作体验,助力普通用户轻松实现高质量内容创作,同时为专业创作者提供强大的技术支持,推动内容生态的繁荣与创新。 课题介绍: 背景: 视频创作是内容平台生态的最关键环节。随着AGI大模型技术的发展,行业内AI视频创作Workflow不断革新,传统的视频剪辑工具面临严峻行业挑战。AI Native视频创作大模型技术,旨在研发一套基于大模型的视频创作系统,来改善用户创作过程中灵感匮乏、创作提质提效及降低门槛使人人都是优质创作者等难点问题。应用上,可落地支持抖音、剪映Capcut、Flow等业务的图片与视频创作工具,形成公司关键业务场景的核心生态壁垒。 课题挑战: 1、中长视频多模态理解能力:创作场景需要对用户素材充分理解,因此大模型需要对输入视频的画面、声音及语音等能充分理解,具备素材剪辑处理的通用理解能力; 2、创作领域专业Agent能力: 大模型需要具备创作领域AGI的潜力,对于营销、UGC、PGC等不同创作场景,模型需要具备优质视频创作知识储备,能基于原子能力Tools规划合理的Action Sequence完成创作; 3、多模态输出能力:在视频创作领域,需要进行视频效果包装,因此模型需要具备输出音效/声音/文字贴纸/转场特效等能力; 4、高效率模型推理:由于输入视频时长较长,任务复杂,考虑应用落地成本,模型在处理长Context的推理效率与实际效果的Trade-off依赖技术突破。
团队介绍:智能创作团队是字节跳动的创作场景业务中台,以AI赋能创造,致力于通过AI技术降低创作门槛,赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线,持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景,通过由AI驱动的智能化工具与算法,为用户提供了更智能、更便捷、更丰富的创作体验,助力普通用户轻松实现高质量内容创作,同时为专业创作者提供强大的技术支持,推动内容生态的繁荣与创新。 课题介绍: 背景: 视频创作是内容平台生态的最关键环节。随着AGI大模型技术的发展,行业内AI视频创作Workflow不断革新,传统的视频剪辑工具面临严峻行业挑战。AI Native视频创作大模型技术,旨在研发一套基于大模型的视频创作系统,来改善用户创作过程中灵感匮乏、创作提质提效及降低门槛使人人都是优质创作者等难点问题。应用上,可落地支持抖音、剪映Capcut、Flow等业务的图片与视频创作工具,形成公司关键业务场景的核心生态壁垒。 课题挑战: 1、中长视频多模态理解能力:创作场景需要对用户素材充分理解,因此大模型需要对输入视频的画面、声音及语音等能充分理解,具备素材剪辑处理的通用理解能力; 2、创作领域专业Agent能力: 大模型需要具备创作领域AGI的潜力,对于营销、UGC、PGC等不同创作场景,模型需要具备优质视频创作知识储备,能基于原子能力Tools规划合理的Action Sequence完成创作; 3、多模态输出能力:在视频创作领域,需要进行视频效果包装,因此模型需要具备输出音效/声音/文字贴纸/转场特效等能力; 4、高效率模型推理:由于输入视频时长较长,任务复杂,考虑应用落地成本,模型在处理长Context的推理效率与实际效果的Trade-off依赖技术突破。
团队介绍:智能创作团队是字节跳动的创作场景业务中台,以AI赋能创造,致力于通过AI技术降低创作门槛,赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线,持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景,通过由AI驱动的智能化工具与算法,为用户提供了更智能、更便捷、更丰富的创作体验,助力普通用户轻松实现高质量内容创作,同时为专业创作者提供强大的技术支持,推动内容生态的繁荣与创新。 课题介绍: 背景: 视频创作是内容平台生态的最关键环节。随着AGI大模型技术的发展,行业内AI视频创作Workflow不断革新,传统的视频剪辑工具面临严峻行业挑战。AI Native视频创作大模型技术,旨在研发一套基于大模型的视频创作系统,来改善用户创作过程中灵感匮乏、创作提质提效及降低门槛使人人都是优质创作者等难点问题。应用上,可落地支持抖音、剪映Capcut、Flow等业务的图片与视频创作工具,形成公司关键业务场景的核心生态壁垒。 课题挑战: 1、中长视频多模态理解能力:创作场景需要对用户素材充分理解,因此大模型需要对输入视频的画面、声音及语音等能充分理解,具备素材剪辑处理的通用理解能力; 2、创作领域专业Agent能力:大模型需要具备创作领域AGI的潜力,对于营销、UGC、PGC等不同创作场景,模型需要具备优质视频创作知识储备,能基于原子能力Tools规划合理的Action Sequence完成创作; 3、多模态输出能力:在视频创作领域,需要进行视频效果包装,因此模型需要具备输出音效/声音/文字贴纸/转场特效等能力; 4、高效率模型推理:由于输入视频时长较长,任务复杂,考虑应用落地成本,模型在处理长Context的推理效率与实际效果的Trade-off依赖技术突破。
ByteIntern:面向2026届毕业生(2025年9月-2026年8月期间毕业),为符合岗位要求的同学提供转正机会。 团队介绍:智能创作团队是字节跳动的创作场景业务中台,以AI赋能创造,致力于通过AI技术降低创作门槛,赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线,持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景,通过由AI驱动的智能化工具与算法,为用户提供了更智能、更便捷、更丰富的创作体验,助力普通用户轻松实现高质量内容创作,同时为专业创作者提供强大的技术支持,推动内容生态的繁荣与创新。 1、研发图像视频生成、图像视频编辑、图像视频理解等多模态大模型的算法加速技术,通过步数蒸馏、CFG蒸馏、Cache、参数高效化设计、投机解码等模型层优化手段,实现生成效率数量级提升; 2、参与生成式模型的创新算法研究,攻克Diffusion模型加速、多模态理解生成统一建模加速等技术方向; 3、分析模型和任务性能瓶颈,通过算法优化提升模型推理效率,优化视觉大模型,推动字节跳动AI关键业务发展。
团队介绍:负责影像业务剪映、醒图等创作工具的增长、内容分发和商业化的算法,以及数据科学相关工作,致力于激发用户创作灵感、优化创作效率和提高所创作内容的价值,并完成增长与商业化变现。 课题介绍:剪映CapCut创作工具需要更自动化的扩大模版与素材的供给,降低创作过程的难度,本课题旨在通过AIGC根据当前热点,推荐,搜索等分发线索自动生成模版、素材、音乐,大规模补充模版与素材供给,为用户提供更多创作灵感,以及根据用户上传素材,AIGC辅助自动成片。 1、基于多模态大模型(LLM/视觉/音频)技术,研发自动化内容生成系统,通过分析热点、搜索趋势及用户行为数据,构建动态生成模型,实现视频模板、风格化素材、场景适配音乐的规模化生产,提升创作工具的内容供给多样性; 2、研究用户意图深度理解模型,通过用户上传的原始素材(图片、视频片段、文字描述)分析创作目标,构建端到端的自动成片Pipeline,实现镜头分割、转场特效生成、字幕匹配、音乐适配的全流程AI化; 3、设计跨模态对齐算法,解决图文/视频/音乐的多维度语义匹配问题。