腾讯实时互动音频算法工程师（北京/深圳）

如果你，期望在阿里巴巴生态的广阔场景中，借助海量用户数据和先进的技术能力，打造千人千面的个性化数字人形象生产系统，为亿级用户提供高度定制化的虚拟形象服务； 如果你，期望攻克高保真语音驱动（Speech-to-Video）的核心难题，研发业界领先的唇形同步、情绪化面部表情及肢体动作生成算法，实现从音频到视频的端到端极致还原，赋予数字人如同真人般的自然表达力与情感共鸣； 如果你，期望挑战实时流式生成的技术难题，探索扩散模型与自回归模型的极速推理优化，实现低延迟、高吞吐的视频流实时产出，打破离线渲染的局限，支撑起百万级并发的实时交互直播场景； 如果你，期望突破数字人与物理世界的边界，深耕复杂物体交互（Human-Object Interaction）技术，解决数字人在手持商品、展示道具等动态交互过程中的物理规律约束、空间一致性及遮挡还原难题，让数字人在导购、演播等场景中具备真实的物体操控能力； 如果你，期望深入探索多模态统一大模型的应用，将视觉、语音、文本与动作序列深度融合，构建具备精细环境感知与逻辑理解能力的数字人系统，在复杂的电商实景中实现人-物-场的高度协同与自然对答。 加入我们，你的成果将直接应用于电商领域的核心场景——AI实时直播、智能客服、交互式数字导购，影响数以亿计的用户。在这里，你不仅是在写代码，更是在通过流式架构与交互算法，重新定义未来数字人的无限可能！ 研究背景：在 AIGC 浪潮下，数字人已从早期的录像进化为动态实时生成。然而，业界仍面临三大核心挑战： 交互的自然度： 如何让数字人的肢体、表情与复杂的语音情感高度对齐，消除“恐怖谷”效应。 物理规律的缺失： 在电商直播等场景中，数字人需要手持商品、展示道具，如何解决手部交互（HOI）中的遮挡、形变及空间一致性是当前的技术深水区。 实时性的瓶颈： 扩散模型效果虽好但推理慢，如何实现低延迟的流式视频生成，是数字人从视频工具走向实时互动的必经之路。 研究课题： 基于扩散模型的高保真流式视频生成架构研究； 复杂场景下的人与物体交互（HOI）视频生成； 多模态情感驱动的全身动作与表情协同生成； 成长资源： 1、算力自由： 远离“算力焦虑”，专注于算法创新。 2、海量高质数据： 拥有业界独有的、极其丰富的多模态商业场景数据，未视频生成，HOI等前沿课题提供土壤。 3、鼓励顶会产出： 团队在保持业务领先的同时，高度重视学术沉淀。鼓励将研究成果总结并发表至CVPR、SIGGRAP、HNeurIPS 等顶会，支持参加国际学术会议，提升行业影响力。 4、工业界顶级专家的 1v1 指导： 团队由来自国内外顶尖院校的博士和工业界资深专家组成，实行“师兄制”，从学术论文投稿到工程落地全过程深度带教。

团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1）课题背景： 1、数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2、随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2）课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。

团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1）课题背景： 1、数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2、随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2）课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。

团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1）课题背景： 1、数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2、随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2）课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。