通义通义实验室-语音大模型算法专家/高级专家-多模态交互
任职要求
1. 计算机科学、人工智能、语音处理、机器学习或相关领域的硕士或博士学位。 2. 至少2年在语音、自然语言、语音翻译、声音复刻、数字人、音乐生成或相关领域的研究研发经验。 3. 有预训练经验，包括但不限于高效训练、强化学习，参与过研发音频、NLP相关的预训练模型及其下游应用者优先。 加分项： 1…
工作职责
1. 负责语音合成、语音识别、端到端语音交互大模型算法的基础研究和应用落地。 2. 参与语音合成与识别技术在业务场景落地，解决落地过程中的前沿问题，持续优化语音合成与识别核心技术效果。 3. 深入调研和关注音频/NLP/多模态/全模态等方向的前沿技术，持续探索语音技术的新能力和新应用。
1.拟人SFT数据构建与策略设计 （1）负责面向超拟人语音交互场景的SFT数据方案设计，涵盖角色人设一致性、多轮对话逻辑、情感表达等维度，构建高质量对话语料。 （2）针对多模态交互、A陪伴等需求，设计角色扮演数据的标注规范，包括身份背景、经典台词、行为模式等细粒度标签。 （3）基于业务场景（如儿童教育、情感陪伴、游戏NPC、模拟面试等）设计符合角色设定的对话逻辑，提升用户交互沉浸感。 （4）建立SFT数据评估体系，针对人设一致性、意图识别准确率、对话流畅度等指标进行量化分析与迭代。 2.SFT数据在语音交互模型中的优化 （1）结合语音交互链路（ASR→LLM→TTS），通过SFT技术优化大模型的对话能力，重点提升上下文理解、情感响应准确度及多轮对话连贯性。 （2）探索角色扮演数据在语音Agent中的应用，例如通过Prompt工程控制对话风格、情绪倾向，实现个性化交互体验。 （3）协同声纹识别、情感计算等技术，构建语音-文本-用户画像对齐的数据集，支持个性化交互（如儿童声线识别、成人情感分析）。 （4）推动SFT数据在低延迟语音交互场景的落地，优化端到端响应效率（如实时打断、长上下文记忆等能力）。
1. 主导多模态理解/音频大模型的前沿算法研究及产业落地。 2. 音频理解方向： （1）研发语音识别、语音翻译以及音频分析等理解算法。 （2）开发跨模态（语音/文本/视觉）的音频语义理解系统。 （3）探索音频大模型架构设计。 （4）推动算法成果转化：通过ModelScope开源社区创造研究价值，或通过阿里云产品体系创造商业价值。 （5）持续跟踪国际前沿技术动态（ICASSP/Interspeech/NeurIPS/ICLR等），参与国际会议、研讨会，与全球顶级团队进行交流合作。
1. 主导多模态理解/音频大模型的前沿算法研究及产业落地。 2. 音频理解方向： （1）研发语音识别、语音翻译以及音频分析等理解算法。 （2）开发跨模态（语音/文本/视觉）的音频语义理解系统。 （3）探索音频大模型架构设计。 （4）推动算法成果转化：通过ModelScope开源社区创造研究价值，或通过阿里云产品体系创造商业价值。 （5）持续跟踪国际前沿技术动态（ICASSP/Interspeech/NeurIPS/ICLR等），参与国际会议、研讨会，与全球顶级团队进行交流合作。
负责语音交互大模型算法研究（包括不限于语音音频理解大模型、语音生成大模型、语音交互大模型、音视频交互大模型），确保基础大模型在技术指标、应用能力上的行业领先。 1.语音理解、生成、交互等基础大模型的算法跟踪、研究创新； 2.围绕语音交互大模型的配套算法，包括不限于语音音频信号处理、语音降噪增强、音乐歌唱、音效生成、语音唤醒、麦克风阵列等； 3.与文本、视觉大模型等兄弟团队紧密合作，研究原生多模态大模型。