腾讯音乐多模态算法研究员(视频生成)
任职要求
1. 博士学历,计算机、信息、通信、信号类及相关专业; 有机器学习 / AI / 计算机视觉 / 多模态等相关方向研究或项目经验,具备视频生成或图像生成项目经历,或AIGC项目落地经验,或有自研算法并成功应用于产品者优先。 2. 具备扎实的传统机器学习算法理论基础,深入理解主流生成模型(Diffusion Models、VAE、GAN)及其在视频领域的扩展;熟悉视频生成领域的最新进展(如Video Diffusion Models、…
工作职责
1. 专注于视频生成领域的前沿技术探索与研发,包括但不限于文本/音频/图像到视频生成、视频编辑与预测、时序一致性建模等;结合多模态技术提升生成内容的语义对齐与视觉质量。 2. 基于AIGC技术优化视频生成效果(如画质、连贯性、可控性),提升用户体验,并探索商业化场景(如短视频创作、音乐可视化、虚拟人驱动等)。 3. 推动视频生成算法在TME各项业务中的落地应用,或驱动新产品的诞生(如AI音乐视频自动生成、智能MV剪辑工具)。
1.负责世界模型(World Model)相关核心算法的研发与落地,包括但不限于视频生成、视频预测、视频编辑等方向; 2.探索面向游戏世界场景的新一代视频生成技术,构建具备可交互性、可编辑性、物理一致性和时空一致性的世界模型。
1.负责世界模型(World Model)相关核心算法的研发与落地,包括但不限于视频生成、视频预测、视频编辑等方向; 2.探索面向游戏世界场景的新一代视频生成技术,构建具备可交互性、可编辑性、物理一致性和时空一致性的世界模型。
探索下一代原生多模态基础模型:让模型不止于接入视觉能力,而是能够统一建模文本、图像、视频与交互过程,像理解文字一样理解视觉世界,并在真实物理场景中进行推理、生成和行动。我们将重点探索统一的多模态表征体系,包括离散视觉 token、连续视觉表征及其混合形式,使图像与视频能够被基础模型高效学习、组合和生成。 你将参与以下方向中的一个或多个: 1、研究多模态与文本模态的深度融合策略,包括 early fusion 架构设计、多模态 / 文本数据配比优化、多模态上下文建模等,实现视觉能力与语言能力的协同提升。 2、从互联网及业务场景中大规模挖掘、清洗和构建高质量多模态训练数据,覆盖图文交错、视频、网页、文档、GUI、代码和交互轨迹等数据形态,支撑模型在 browser use、复杂文档理解、vision-to-code 等生产力场景的能力突破。 3、设计兼顾理解、重建与生成的视觉表征体系,包括离散视觉 tokenizer、多尺度视觉 token、视频 tokenization 以及连续 / 离散混合表征;基于理解与生成统一的表征,规模化构建图文交错、视频序列等多模态自监督预训练数据,解锁新的多模态智能维度。 4、基于理解与生成统一的模型能力,探索长程、多轮的多模态生成与交互任务,通过端到端强化学习激发模型的自我评估和迭代修正能力;进一步探索未来帧预测、状态建模和交互轨迹学习在物理视觉世界中的推理、规划与行动能力。