通义通义实验室 - 通义万相原生多模态世界模型前沿技术研究 - 阿里星
任职要求
1. 来自全球Top高校计算机科学、人工智能、数学、物理或相关领域应届博士/顶尖硕士毕业生。 2. 在国际顶级计算机会议/期刊（如NeurIPS、CVPR、ICLR、ECCV、TPAMI等）以一作身份发表过多篇论文，或在开源社区、竞赛中展示出引领性的研究成果。 3. 对Diffusion Models、GANs、VAEs等生成模型有深入理解，熟悉基于Transformer架构的自回归生成模型、DiT等扩散模型；在语言-视觉联合建模、图文/视频生成任务方面有系统性理解，熟悉CLIP/VLM 等跨模态模型架构，并至少在生成模型或语言-视觉联合建模方向产生具有行业影响力的创新成果。 4. 对多模态世界模型的可控性、一致性、长序列建模、跨模态对齐与协同、效率优化等关键问题有持续探索的兴趣，敢于挑战现有范式，有志于在该领域构建具有行业影响力的新范式。 5. 具备扎实的代码功底，熟悉PyTorch/TensorFlow等框架，能够高效实现复杂模型结构并进行大规模训练（如千卡级大模型训练、混合精度优化、显存优化）经验；ACM/ICPC，topcoder等编程比赛获奖者优先。 6. 具备跨学科视野与协作意识，能够与工程、产品等多学科团队紧密合作，推动研究成果快速落地并产生实际影响力。
工作职责
随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 多模态世界模型前沿技术研究项目，团队在多个方向上进行探索（具体如下罗列），若你对以下一个或者多个课题感兴趣均欢迎投递： 1. 世界模型，包括但不限于：长视频生成、多模态交互式世界模型、实时音视频生成、生成驱动的世界渲染引擎、3D/4D生成。 2. 原生多模态预训练，包括但不限于：融合语言与图像理解生成统一的多模态模型、音视频融合的生成模型、高效多模态预训练算法。 3. 人类反馈与强化学习，包括但不限于：基于规则的强化学习策略、高效 DPO 与 PPO 算法设计、基于用户反馈的RLHF视频生成质量提升。 4. 统一Tokenizer研究，包括但不限于：适用于图像、视频、音频等多种模态生成和理解的统一Tokenizer、提高多模态模型的泛化能力和效率。 5. 大模型训练/推理优化，包括但不限于：模型蒸馏、模型剪枝、attention计算近似等高效训练加速策略。
【部门介绍】 随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 【工作内容】 1. 探索大规模多模态理解生成统一基础模型，包括但不限于：统一建模设计、高效模型结构设计、高效Scaling、视觉Tokenizer、多模态联合训练等。 2. 探索和突破多模态强化学习，包括但不限于：视觉CoT、面向复杂视觉设计任务的强化学习设计、基于用户反馈的在线自学习等。 3. 构建基于生成模型的真实世界渲染引擎，探索新的多模态交互范式，探索虚拟和真实世界的强化反馈链路设计。
随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 多模态世界模型前沿技术研究项目，团队在多个方向上进行探索（具体如下罗列），若你对以下一个或者多个课题感兴趣均欢迎投递： 1. 世界模型，包括但不限于：长视频生成、多模态交互式世界模型、实时音视频生成、生成驱动的世界渲染引擎、3D/4D生成。 2. 原生多模态预训练，包括但不限于：融合语言与图像理解生成统一的多模态模型、音视频融合的生成模型、高效多模态预训练算法。 3. 人类反馈与强化学习，包括但不限于：基于规则的强化学习策略、高效 DPO 与 PPO 算法设计、基于用户反馈的RLHF视频生成质量提升。 4. 统一Tokenizer研究，包括但不限于：适用于图像、视频、音频等多种模态生成和理解的统一Tokenizer、提高多模态模型的泛化能力和效率。 5. 大模型训练/推理优化，包括但不限于：模型蒸馏、模型剪枝、attention计算近似等高效训练加速策略。
【部门介绍】 随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 【工作内容】 1、负责原生多模态模型研究和开发，结合多模态能力（支持文本、图像、语音输入）实现复杂指令生成，包括但不限于文生图、图生图、文档生成、可控编辑等核心方向。 2、负责图像生成模型效果优化，探索扩散模型、自回归模型结构和策略优化等核心技术课题。 3、负责人类反馈与强化学习，聚焦于更加精细的RL算法设计，并基于万相用户反馈的RLHF图像生成质量提升。
【部门介绍】 随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 【职位描述】 1. 负责通义万相多模态生成大模型研发，重点解决生成大模型的训练和推理效率问题。 2. 负责研发各种蒸馏加速算法，包括CFG蒸馏，推理步数蒸馏等。 3. 负责研发各种Training-free推理加速算法，不限于cache、量化、采样优化等策略。 4. 负责研发生成模型的高效训练架构，包括但不限于sparse/linear attention、时空独立建模、超分模块等策略。