阿里巴巴AI创新事业部-多模态通用音频大模型算法工程师/专家-未来生活实验室
任职要求
1、学历经验:硕士及以上,1年以上音频/语音/音乐生成大模型研发经验。 2、核心技术:精通音频生成算法,对DiT、Flow Matching、MLLM、vocoder等技术有自己的理解和实操经验。 3、底层技术:熟悉音频表征(HuBERT/WavLM等)及高音质编解码方案(EnCodec/DAC等),对音质敏感。…
工作职责
1. 负责音频生成大模型研发(文生音频、音频编辑、音色克隆、音效合成等),产出高保真、可控的生成方案并推动落地; 2. 研发音频理解大模型,构建跨模态(文本、图像、视频与音频联合)的细粒度音频内容描述体系; 3. 搭建大规模多源通用音频数据集(音乐、语音、环境声等),支撑模型持续迭代; 4. 推动音频大模型在业务场景中落地,解决推理效率、可控性、实时性等工程问题; 5. 跟进行业前沿,保持团队在通用音频大模型领域的技术领先。
1. 负责音频生成大模型研发(文生音频、音频编辑、音色克隆、音效合成等),产出高保真、可控的生成方案并推动落地; 2. 研发音频理解大模型,构建跨模态(文本、图像、视频与音频联合)的细粒度音频内容描述体系; 3. 搭建大规模多源通用音频数据集(音乐、语音、环境声等),支撑模型持续迭代; 4. 推动音频大模型在业务场景中落地,解决推理效率、可控性、实时性等工程问题; 5. 跟进行业前沿,保持团队在通用音频大模型领域的技术领先。
1. 模型多模态能力的提升,包括但不限于:物理世界细粒度视觉感知、空间感知、视频时序行为预测和推理、基于视觉的决策和规划; 2. 多模态数据的制作,包括:训练数据的收集、清理和标注,测试Benchmark的构建; 3. 多模态RL相关研究,包括通过RL提升模型常规感知能力和推理能力; 4. 多模态任务评测,包括:客观的Benchmark接入、OOD评测、以及主观评测。
近年来,以大模型为核心的生成式人工智能技术在语言理解、内容生成、多模态建模与跨模态交互等领域取得了突破性进展,展现出前所未有的技术潜力与广泛的应用前景。 我们致力于通用人工智能(AGI)方向的前沿探索与产业落地创新。一方面,在迈向AGI的长期路径中,随着大语言模型能力的持续进化,多模态感知、融合与推理等关键问题日益凸显,成为构建通用智能系统的核心挑战;另一方面,围绕典型行业场景(如智能交互、高质量内容生成、跨模态检索与理解等),如何将现有大模型能力有效转化为可落地、可扩展、可持续的解决方案,也成为当前研究与工程实践的重点方向。 如果你对生成式AI、通用人工智能(AGI/ASI)前沿探索、多模态建模与智能交互系统有浓厚兴趣,并渴望深入参与下一代多模态通用模型的研发与演进,欢迎加入我们,共同定义未来AI的能力边界,牵引千行百业在智能时代的深度变革。 1. 多模态大模型算法创新:定义下一代多模态通用大模型技术范式,实现文本、语音、视觉模态的联合建模,探寻和解决多模态对齐、推理、Agentic等方面的核心挑战,不断追寻多模态通用大模型的效果上限。 2. 场景驱动的算法创新:结合业务场景(如智能交互、内容生成、跨模态检索等),设计并优化大模型架构,提升效果、效率与鲁棒性。 3. 端到端技术闭环:从数据构建、模型训练、评测到部署,主导技术方案落地,通过AB实验、调用量、用户反馈验证价值。 4. 前沿应用技术探索:紧跟并能驱动LLM、Diffusion Models、强化学习等技术相关进展,定义技术新范式,快速实验并迭代创新方案,拉升相关模型SOTA。