阿里巴巴研究型实习生-端到端的语音双工对话大模型研究
任职要求
1、计算机/人工智能/认知科学等相关专业在读硕士/博士； 2、有扎实的理论基础，对大模型、多模态建模、强化学习等相关技术研究感兴趣； 3、加…
工作职责
全双工语音交互被视为语音对话系统的终极形态，也是人机交互体验实现质变的关键方向。然而，当前主流语音助手仍普遍采用半双工或伪双工架构，"用户说完→系统处理→系统回复"的串行流程使得交互体验与自然人机对话之间存在显著差距。同时，级联式的 ASR-LLM-TTS 架构还面临延迟累积、误差传递、表现力与实时性难以兼顾等一系列挑战。 本课题聚焦端到端架构下的全双工语音对话大模型研究，致力于打破"先听后说"的串行范式，探索理解与生成在统一隐空间中的联合建模路径，构建真正具备双向流式交互能力、高自然度与高表现力的下一代语音对话系统，并在车载、智能硬件、智能客服、情感陪伴等场景形成显著的体验优势。 具体研究方向包括： 1、双向流式端到端双工建模，探索单一模型同时处理输入音频流与输出生成的架构，攻克 turn-taking 决策、打断检测与流式解码的协同优化难题； 2、高表现力端到端对话模型，研究情感、风格、语速等细粒度控制与实时生成的平衡方案，打造多说话人、多风格、多语言的统一生成模型； 3、理解生成统一建模，探索从原始音频到原始音频的端到端映射，摒弃传统文本中间表示，捕捉并复现副语言信息，实现真正的"语音思维"。
1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。
1. 探索端侧大语言模型LLM的后训练、压缩、量化、解码加速等技术，实现Qwen系列模型的手机端、XR眼镜端、AI眼镜端的实时运行和低延迟回复。 2. 探索端侧语音多模态大模型的架构升级、后训练、压缩量化等技术，打造手机端、XR眼镜端、AI眼镜端能实时运行和低延迟回复的语音对话大模型。 3. 持续关注学术界和行业的最新研究动态，参与研讨会，与顶级团队进行交流合作。
1. 探索端侧大语言模型LLM的后训练、压缩、量化、解码加速等技术，实现Qwen系列模型的手机端、XR眼镜端、AI眼镜端的实时运行和低延迟回复。 2. 探索端侧语音多模态大模型的架构升级、后训练、压缩量化等技术，打造手机端、XR眼镜端、AI眼镜端能实时运行和低延迟回复的语音对话大模型。 3. 持续关注学术界和行业的最新研究动态，参与研讨会，与顶级团队进行交流合作。
基于开源的 Diffusion 图像和视频生成模型，构建基础推理和训练引擎，探索前沿的 AIGC 技术，具体职责包括： 1、加入魔搭社区 DiffSynth-Studio 等开源项目的开发，接入先进的图像和视频生成模型，为业界提供领先的推理和训练引擎基建。 2、基于丰富的开源模型生态，探索 AIGC 技术的全新能力，开展多元化的科研项目，包括但不限于图像生成的思维链、跨模态模型的能力集成、理解-生成统一架构模型等，发表高水平学术论文。 3、参与魔搭社区的运营活动，为新模型的开源提供技术支持，推动 AI 技术的普及推广。