通义通义实验室-多模态生成模型算法专家-通义万相
任职要求
1. 计算机科学、人工智能、机器学习能等领域的博士/硕士毕业生,具备计算机视觉等领域的扎实理论基础。 2. 掌握机器学习和深度学习基础知识,熟悉常用视觉生成算法,熟悉Pytorch、Tensorflow等至少一种深度学习框架。 3. 具备良好的科研能力,有大规模视觉生成算法相关研究经历和具有影响力科研工作(高引论文、知名开源项目等)者优先,有成果发表在CVPR、ICCV、NeurIPS、ICLR、TPAMI等国际顶级会议、期刊者优先。 4. 对生成方向具有技术热情,具备视觉生成大模型研发经验,有对话系统、多模态生成等落地项目经验者优先。 5. 具备良好的技术洞察力和优秀的业务分析能力,能应对复杂的业务算法需求,能够与工程、产品等多学科团队紧密合作,推动研究成果快速落地并产生实际影响。 6. 关注技术影响力,具有开源开放精神,对基础模型的前沿问题有持续热情,有追求,渴望做出有极大影响力的工作。
工作职责
【部门介绍】 随着大模型技术的飞速发展,理解和生成多模态数据(图像、视频、音频、3D素材等)的能力日益增强。目前,构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点,也是实现通用人工智能(AGI)的重要技术路径之一。 通义万相(Wan)将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索,始终追求在多模态世界模型领域的领先研究地位,致力于建立世界级的技术影响力。 【工作内容】 1、负责原生多模态模型研究和开发,结合多模态能力(支持文本、图像、语音输入)实现复杂指令生成,包括但不限于文生图、图生图、文档生成、可控编辑等核心方向。 2、负责图像生成模型效果优化,探索扩散模型、自回归模型结构和策略优化等核心技术课题。 3、负责人类反馈与强化学习,聚焦于更加精细的RL算法设计,并基于万相用户反馈的RLHF图像生成质量提升。
【部门介绍】 随着大模型技术的飞速发展,理解和生成多模态数据(图像、视频、音频、3D素材等)的能力日益增强。目前,构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点,也是实现通用人工智能(AGI)的重要技术路径之一。 通义万相(Wan)将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索,始终追求在多模态世界模型领域的领先研究地位,致力于建立世界级的技术影响力。 【职位描述】 1. 负责通义万相多模态生成大模型研发,重点解决生成大模型的训练和推理效率问题。 2. 负责研发各种蒸馏加速算法,包括CFG蒸馏,推理步数蒸馏等。 3. 负责研发各种Training-free推理加速算法,不限于cache、量化、采样优化等策略。 4. 负责研发生成模型的高效训练架构,包括但不限于sparse/linear attention、时空独立建模、超分模块等策略。
【部门介绍】 随着大模型技术的飞速发展,理解和生成多模态数据(图像、视频、音频、3D素材等)的能力日益增强。目前,构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点,也是实现通用人工智能(AGI)的重要技术路径之一。 通义万相(Wan)将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索,始终追求在多模态世界模型领域的领先研究地位,致力于建立世界级的技术影响力。 【职位描述】 1. 负责通义万相多模态世界模型的Reward Model构建,包括但不限于:基模型评价维度和benchmark构建,构建强化学习Reward Model和有效RL算法,结合线上用户反馈挖掘模型缺点、持续迭代,实现和人类评测和偏好对齐。 2.负责通义万相多模态世界模型的数据建设,包括但不限于:视频、图像、音频、文本等多模态数据集建设,人类偏好数据pipleline建设,为图像模型、音视频模型、交互式世界模型等基础模型迭代提供有效数据供给。
1.参与前沿语音生成大模型的研发,涵盖数据体系设计、模型架构设计、训练优化等。 2.探索语音合成、声学建模、自然语言处理等多模态融合技术,提升模型在语音质量、自然度及逻辑推理能力上的表现。 3.针对实际应用场景(音色克隆、情感控制等)优化模型效果和性能,解决复杂技术难题。
团队介绍: 我们是阿里巴巴通义实验室语音团队,在音频AI领域持续推动技术创新与产业落地。我们的成果包括: 1. ModelScope平台语音/音频板块核心算法团队 2. FunASR、CosyVoice、3D-Speaker等开源社区发起者与核心维护团队 3. 通义听悟(tingwu.aliyun.com)音频及语义算法团队 4. 阿里云智能语音交互及灵积语音模型服务核心算法提供方 岗位职责: 1. 主导多模态理解/音频大模型的前沿算法研究及产业落地。 2. 音频理解方向: (1)研发语音识别、语音翻译以及音频分析等理解算法。 (2)开发跨模态(语音/文本/视觉)的音频语义理解系统。 (3)探索音频大模型架构设计。 (4)推动算法成果转化:通过ModelScope开源社区创造研究价值,或通过阿里云产品体系创造商业价值。 (5)持续跟踪国际前沿技术动态(ICASSP/Interspeech/NeurIPS/ICLR等),参与国际会议、研讨会,与全球顶级团队进行交流合作。