腾讯多模态世界模型

1、跟进并研发多模态大模型的强化学习对齐技术，提升模型在多模态任务中的表现； 2、负责强化学习对齐技术研发，包括Reward Model训练、PPO/DPO/GRPO等策略优化算法的实现与优化； 3、通过强化学习提升世界模型智能和效果上限提升； 4、参与设计和开发高效的强化学习训练框架，支持大规模分布式RL训练、高效rollout采样、异步训练pipeline等基础设施建设。

1、负责研发大规模世界模型，提升模型对真实世界动态变化的建模能力； 2、研究可规模化的世界模型架构，解决世界模型在长程预测中的物理一致性问题和长期记忆等问题； 3、构建世界模型数据体系，探索世界模型在参数与数据规模上的 Scaling Laws; 4、构建可交互的世界模型系统，并推动技术在实际产品中的落地。

随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 多模态世界模型前沿技术研究项目，团队在多个方向上进行探索（具体如下罗列），若你对以下一个或者多个课题感兴趣均欢迎投递： 1. 世界模型，包括但不限于：长视频生成、多模态交互式世界模型、实时音视频生成、生成驱动的世界渲染引擎、3D/4D生成。 2. 原生多模态预训练，包括但不限于：融合语言与图像理解生成统一的多模态模型、音视频融合的生成模型、高效多模态预训练算法。 3. 人类反馈与强化学习，包括但不限于：基于规则的强化学习策略、高效 DPO 与 PPO 算法设计、基于用户反馈的RLHF视频生成质量提升。 4. 统一Tokenizer研究，包括但不限于：适用于图像、视频、音频等多种模态生成和理解的统一Tokenizer、提高多模态模型的泛化能力和效率。 5. 大模型训练/推理优化，包括但不限于：模型蒸馏、模型剪枝、attention计算近似等高效训练加速策略。

1. 多模态/世界模型训推架构：负责万亿参数多模态理解、多模态生成模型、世界模型分布式训推框架的设计和实现。通过5D并行策略、细粒度显存优化、通信计算Overlap等手段，实现多模态场景高效的预训练/后训练Pipeline。 2. 模型联合的深度算子优化：结合多模态理解生成场景，通过算子融合，定制Attention、MoE等算子，并达到SOTA的训推MFU。 3. 模型加速工程：使用蒸馏、量化、剪支等加速技术，在AIGC、实时生成等场景达到极致的模型效果-性能平衡点。 4. AI创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的多模态生成模型在 AI 创新应用场景的业务落地，解决工业级大模型训练中的迭代基建问题，确保模型从训练到应用的顺畅衔接。