字节跳动【实习】多模态创作大模型研究-智能创作（深圳）
任职要求
1、2027届及以后毕业，博士在读，计算机、人工智能等相关专业优先； 2、具备一个或多个领域的研究、实践经验，包括但不限于以下方向； 1）对多模态理解/Omni-modal模型/LLM的Post-Training有深入理解与实践经验，具备基于基础模型进行图像视频Captioning/Prompt Rephraser/文本创作等任务迭代与优化的潜力； 2）对图像生成/视频生成/多模态理解生成统一建模等领域有深入研究…
工作职责
团队介绍：智能创作团队是字节跳动的创作场景业务中台，以AI赋能创造，致力于通过AI技术降低创作门槛，赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线，持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景，通过由AI驱动的智能化工具与算法，为用户提供了更智能、更便捷、更丰富的创作体验，助力普通用户轻松实现高质量内容创作，同时为专业创作者提供强大的技术支持，推动内容生态的繁荣与创新。 课题介绍：随着AGI大模型技术发展，AI多模态图文视频创作范式迎来深刻变革，基于生成式AI与Agent技术的创作解决方案不断涌现。多模态创作大模型依托全模态内容理解、AIGC图像视频生成及Agentic基座模型等前沿技术，构建灵活高效、业界领先的多媒体内容创作方式。通过Continual Training、Post-Training等方式，持续提升模型在内容理解、图像视频生成的能力上限，端到端优化基础模型在创作Agent场景下的整体效果。 课题挑战： 1、深入参与Seed多模态模型及大语言模型后训练（SFT/RL）实践； 2、参与图像视频生成与统一建模，推动模型效果优化的能力，深度体验模型迭代与大规模实训； 3、实践Agent技术及架构、优化Agentic Foundation模型的工具调用能力及Long-Horizon Task能力，深入研究Agentic RL领域。 课题价值：本课题聚焦AGI时代多模态创作变革，依托全模态理解、AIGC生成与Agentic基座模型等前沿技术，构建高效智能的多媒体创作体系。通过持续训练与模型优化，不断突破内容生成与理解能力，推动AI创作从被动生成走向自主智能，兼具技术前沿性与产业落地价值，为下一代智能创作提供核心支撑。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok研发团队，旨在实现TikTok业务的研发工作，搭建及维护业界领先的产品。加入我们，你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景，支持产品在全球赛道上高速发展；也能接触到包括服务架构、基础技术等方向上的技术挑战，保障业务持续高质量、高效率、且安全地为用户服务；同时还能为不同业务场景提供全面的技术解决方案，优化各项产品指标及用户体验。 在这里， 有大牛带队与大家一同不断探索前沿， 突破想象空间。 在这里，你的每一行代码都将服务亿万用户。在这里，团队专业且纯粹，合作氛围平等且轻松。目前在北京，上海，杭州、广州、深圳分别开放多个岗位机会。 课题介绍：多模态模型能帮助提取视频的多模态内容信息，单用户对内容的注意力是个性化的，所以基于对比学习或者生成式学习得到的内容信息无法能和推荐系统相匹配，如何将基于纯内容信号得到的多模态信息用到推荐系统里目前是一个开放的话题我们希望通过多模态模型和推荐系统联合建模的方式来个性化的提取用户 - 内容的联合信号，并能实现内容建模和个性化建模的双重提升 1、探索多模态模型，包括多模态预训练，多模态LLM； 2、将多模态模型应用于图像/视频的生成创作、逻辑推理、深层语义理解、视频语义压缩、视频高光判断等； 3、探索LLM、多模态等的高效Finetuning技术和推理技术，保证模型在业务场景中的快速适配和高效调用； 4、主要研究方向包括：多模态预训练、图片和视频的生成、图片和视频风格迁移、跨模态检索、大模型多标签分类、半监督学习、自监督学习。
团队介绍：负责影像业务剪映、醒图等创作工具的增长、内容分发和商业化的算法，以及数据科学相关工作，致力于激发用户创作灵感、优化创作效率和提高所创作内容的价值，并完成增长与商业化变现。 课题介绍：剪映CapCut创作工具需要更自动化的扩大模版与素材的供给，降低创作过程的难度，本课题旨在通过AIGC根据当前热点，推荐，搜索等分发线索自动生成模版、素材、音乐，大规模补充模版与素材供给，为用户提供更多创作灵感，以及根据用户上传素材，AIGC辅助自动成片。 1、基于多模态大模型（LLM/视觉/音频）技术，研发自动化内容生成系统，通过分析热点、搜索趋势及用户行为数据，构建动态生成模型，实现视频模板、风格化素材、场景适配音乐的规模化生产，提升创作工具的内容供给多样性； 2、研究用户意图深度理解模型，通过用户上传的原始素材（图片、视频片段、文字描述）分析创作目标，构建端到端的自动成片Pipeline，实现镜头分割、转场特效生成、字幕匹配、音乐适配的全流程AI化； 3、设计跨模态对齐算法，解决图文/视频/音乐的多维度语义匹配问题。
ByteIntern：面向2026届毕业生（2025年9月-2026年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：Stone-AI PaaS团队专注研究AI/大模型应用相关领域的技术和产品，致力于创造和实现创新的人工智能平台服务。团队目前已服务于字节跳动多款产品，比如豆包、Cici、Coze、Trae等。同时团队内部也在孵化多款AI应用创新产品，积极探索大模型应用的技术发展。团队氛围好，发展空间大，欢迎加入！ 1、负责以下算法研究和应用方向之一： 1）AINative形态对话式服务算法的研发，在大规模机器学习和深度学习领域开展研发工作，设计和开发创新性算法模型，研究相关技术在创作、对话和客服等领域的全新应用和解决方案，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式； 2）深入研究语音、图像、文本等多模态信息的融合与交互技术，开发能够实现多模态信息无缝对接的算法模型； 3）提升自然语言理解的能力，比如意图识别，NL2SQL，向量召回，结构化/非结构化，短文本/长文本的表征学习等； 2、负责数据建设、指令微调、偏好对齐、模型优化； 3、深入调研和关注NLP/多模态/LLM等方向的前沿技术，支持模型效果的研发落地和持续优化，探索实际解决业界AI应用问题的方案。
团队介绍：V-AI团队当前支持抖音直播、开放平台、V项目（AI分身/小火人等）业务方向，涵盖了自然语言处理、计算机视觉、图形学等技术领域，通过大模型技术来创造新的互动玩法、制作美术资产、提升研发运营效率等，当前已上线和开展中的项目包括直播大模型（助播/伴播/独播）、角色多模态对话大模型、研发智能助手、3D模型生成大模型、动作生成大模型等。 课题介绍： 背景：随着虚拟现实、增强现实、数字孪生等技术的快速应用，3D数字资产已成为构建沉浸式数字空间的核心要素。在影视动画、游戏开发、直播、社交等领域，3D模型与3D动作的需求呈现爆发式增长。然而，传统3D内容生产高度依赖人工建模与动作捕捉技术，存在效率低、成本高、创作门槛高等瓶颈，难以满足直播等场景中大规模、高保真、多样化、高频迭代的3D内容需求。近年来，以生成式人工智能（AIGC）为代表的大模型技术在2D图像与视频生成领域取得突破性进展，但在3D内容生成领域仍面临表征复杂、多模态数据稀缺、物理规律约束严格等难题。如何将大模型技术与3D生成任务深度融合，实现“文本/图像到3D模型”、“文本/语音到动作”的高质量生成，形成建模+驱动的一站式美术资产生成管线以适配直播场景下资产迭代速度快，品质要求高的需求是当前的重要研究内容。 课题挑战： 传统方法依赖人工建模工具或程序化生成算法，存在生成效率与创作自由度之间的固有矛盾。AI技术虽然能很好地弥补人工生成效率不足的问题，但仍然存在如下挑战 1. 表征困难：与一维文本和二维图像可以自然地实现结构化表征不同，3D模型由于其多模态（如几何、纹理、材质等）、结构复杂和高维度等特性，使得其表征更为复杂。而3D动作又与物理世界紧密相关，且动态复杂度高。因此，如何高效地表征3D几何形状和3D动作，同时确保高品质的生成，仍然是亟需突破的课题。 2. 生成困难：模型生成需同时保障结构完整性、拓扑合理性和细节丰富性；动作生成需兼顾运动多样性、物理约束与时空连续性。现有方法易出现模型畸变、贴图瑕疵、动作力度不足和多样性差等问题。 3. 数据不足：3D数据标注成本高、多模态对齐难度大，且现有公开数据集规模有限，导致大模型训练面临数据不足的问题；如何把相关模态数据（图像、视频）利用起来，提升3D模型和3D动作的生成品质也是当前的重大挑战。 4. 评估体系不完善：缺乏统一的3D生成质量量化指标，现有评价多依赖人工主观判断，难以客观衡量生成的几何精度、动作自然度与多模态语义一致性，因此建立完善、客观、可量化的评价体系是保障技术迭代的关键基石。 1、负责抖音、抖音直播及相关产品的大语言模型/多模态大模型/AIGC算法研发，如数字人、3D生成、动作生成、智能对话等相关工作； 2、负责关键场景的算法优化，构建高质量的模型和Agent系统，提升业务效果； 3、跟踪AI前沿技术进展，推动前沿技术的产品化落地。