小红书多模态-语音实习生

1、参与多模态语音理解+生成（speech、audio、music）领域的科研，效果优秀后推动在视频、游戏业务场景下的算法研发、落地，包括但不限于数据处理、模型训练、效果调优； 2、紧跟前沿技术、参与关键技术创新、突破与积累，撰写论文。

1. 负责语音合成、语音克隆、双工语音通话等语音生成相关技术的数据处理、模型效果验证，并协助业务落地； 2. 负责持续跟进业界前沿算法发展方向，支持公司在核心技术上的影响力发展。

1、设计和研发语音多模态大模型在业务场景的落地方案，负责语音模态业务整体pipeline优化，包括但不限于降噪、声纹、ASR、TTS等； 2、结合大模型Agent技术，优化语音+图片多模态下的real time业务落地交互方案； 3、解决业务落地中的关键技术问题，持续跟进业界语音大模型技术最新进展，加速新技术的引进、适配与优化。

尽管当前的多模态大模型（融合视觉、语音、文本）已展现出强大的感知与理解潜力，但是在实时交互场景中，由于模型设计导致的高延迟、生硬的轮次状态、频繁的打断或被打断严重影响信息传递效率。同时多个模态无法实时融合也限制了多模态模型在语音交互场景下的深度应用。生成的交互内容有时显得冗长、缺乏提炼或智能不足，这些问题限制了用户与大模型实时交流的体验。 本课题的目标是设计并验证一种全模态实时交互的大模型架构，将视觉模态、语音流模态、思考模态信息以及 SOTA LLM 进行实时融合。从而使得大模型可以与人进行即时、流畅、且深入浅出、富有智慧的多模态自然语音对话。