字节跳动AI Agent研发实习生-智能创作
任职要求
1、2026届硕士及以上学位在读,计算机、软件工程等相关专业优先; 2、动手能力强,精通Python、Java、C++、Go其中一种或多种编程语言,具备良好的软件框架和应用设计能力;深入理解主流机器学习框架,如PyTorch、TensorFlow,对Transformer架构有深入理解,熟练掌握Lora训练加分; 3、深入了解AI Agents技术栈,掌握LangChain/Llamaindex等LLM开发工具框架,有丰富的智能体开发和Prompt Engineering调优经验,Multi-Agent Syst…
工作职责
ByteIntern:面向2026届毕业生(2025年9月-2026年8月期间毕业),为符合岗位要求的同学提供转正机会。 团队介绍:智能创作团队是字节跳动创作场景业务中台,负责了抖音、剪映等产品的技术和业务研发,涵盖了计算机视觉、深度学习、高性能计算、图形学、特效引擎等技术领域,并以多种形式向公司内部各业务线提供业界前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案,同时通过火山引擎为企业客户提供服务。 1、设计和实现基于LLM的智能体架构,包括任务规划、对话管理、意图识别、流程工程等; 2、设计和实现多模态Agent,支持文本、语音、图像等多种输入/输出形式的处理; 3、推动AI Agent在架构和性能上的持续优化,提升Agent对用户理解能力和响应的准确性; 4、开发和维护智能体的后端服务,确保系统的稳定性和可扩展性; 5、跟踪并研究行业前沿AI算法,持续提升AI Agent的技术水平; 6、编写必要的技术文档,包括API接口说明、核心算法设计与代码开发。
1、基于快手自研的文生视频(可灵)、文生图(可图)、文生文(快意)等大语言模型和多模态模型,研发包含多媒体素材AIGC自动化创作系统与工具平台和 Chatbot、VideoCaption、VQA 等各类形态的工业级 AI Agent 系统,并应用于快手生态的内容生产与消费、内容理解与素材挖掘等各类业务场景; 2、参与研发AIGC、AI Agent等系统所依赖的关键子系统,并于算法团队合作持续迭代AIGC的内容质量与效果、AI Agent的智能化效果; 3、跟踪业界AIGC、AI Agent等内容成产、智能体的前沿进展,并将最新的大模型技术能力引入到实际业务场景中。
1、基于快手自研的文生视频、文生图、文生文等大语言模型和多模态模型,研发包含多媒体素材AIGC自动化创作系统与工具平台和 Chatbot、VideoCaption、VQA 等各类形态的工业级 AI Agent 系统,并应用于快手生态的内容生产与消费、内容理解与素材挖掘等各类业务场景; 2、参与研发AIGC、AI Agent等系统所依赖的关键子系统,并与算法团队合作持续迭代AIGC的内容质量与效果、AI Agent的智能化效果; 3、跟踪业界AIGC、AI Agent等内容成产、智能体的前沿进展,并将最新的大模型技术能力引入到实际业务场景中。
1、主导基于大模型的AI Agent全生命周期研发,包括通用型及垂直领域AI Agent的架构设计、模型训练与评测; 2、运用SFT、RL等Post-training训练方法,提升大模型在自主规划(Planning)、多步推理、RAG增强生成、工具调用、数据问答、文案生成等方面的能力; 3、跟踪LLM与Agent领域的国际前沿技术动态,推动技术创新在业务场景中的落地应用,重点突破复杂推理、数据洞察、AI搜索、文案创作、图像连续编辑等方向的应用创新; 4、持续优化Agent算法与系统架构,构建端到端的智能体评测体系,开发自动化评估工具与多维评价指标,提升Agent系统性能与效率,打造业内领先的AI Agent技术方案。
团队介绍:字节跳动剪映研发团队,主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作,业务覆盖多元化影像创作场景,截止2021年6月,相关产品多次登顶国内外App Store 免费应用榜第一,并继续保持高速增长。加入我们,一起打造全球最受用户欢迎的影像创作产品。 课题介绍: 1、课题背景: 1)数字化营销时代,企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告,从个性化推荐文案到多模态互动内容,营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长,难以满足实时化、动态化、规模化的业务需求。尽管生成式AI(AIGC)技术(如GPT等)已在文本、图像生成领域取得突破,但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”,通过智能技术实现从策略洞察到内容生产的全链路自动化,推动营销效率与效果的革命性升级。 2)随着大语言模型、多模态模型等大模型的成熟,通过视觉理解、语音识别、文本生成等AI大模型能力,提升视频剪辑效率,基于创作者的需求和创意,高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具,但大多局限于规则化操作,成片或缺乏对用户意图的理解,效果同质化,或缺乏成片逻辑与情感,机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术,结合剪映平台的强大剪辑能力和效果,打造一个智能剪辑的智能体(Agent),赋能自媒体内容生产、影视工业化、广告营销等场景。 2、课题挑战: 1、创意与商业价值的平衡:AI生成内容易陷入同质化,需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限,确保创意兼具新颖性与商业转化价值。 2、多模态动态协同:文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐,且需支持动态组合与实时迭代(如根据用户反馈即时优化素材)。 3、复杂场景泛化能力:营销场景高度细分(如电商促销、品牌故事、危机公关),Agent需具备上下文感知与领域迁移能力,避免“一刀切”生成策略。 4、计算效率与资源限制:高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高,需优化模型轻量化与推理速度,满足企业级部署的可行性。 5、伦理与合规风险:需解决版权争议(如AI生成素材的版权归属)、内容安全(如虚假宣传、文化敏感性)等问题,构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字,巨量的用户素材,要通过大模型去精准理解,并与图片、音频、文字等多模态特征统一,对多模态模型理解能力和推理优化,提出了极高要求。 7、大模型对素材编排和剪辑的结果,可能偏离用户真实意图,既要避免输出模板化、同质化,又要结合用户个性化和创意,在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高,推理慢,如何通过模型优化、工程优化等手段,给移动端、PC等终端用户极致的体验,也是课题的一大挑战。 职位描述: 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测,使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模; 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力,构建行业领先的视频创作专家的智能Agent。