商汤语音算法研究实习生
任职要求
1.人工智能、机器学习、信号处理或计算机科学等相关专业研究生以上学历，基础扎实 2.熟悉主流的语音识别模型算法，如RNN-T、conformer、CTC 3.熟悉kaldi / K2 / wenet / espnet / whisper / FunASR 中至少两种工具 4.学习研究能力强，能够独立阅读英文文献，对解决具有挑战性的问题充满激情 5.具有扎实的机器学习理论基础，优秀的算法实现能力，熟练使用 PyTorch 等深度学习框架，掌握SSL、LLM、diffusion、对比学习等机器学习技术在音频生成领域的应用； 6.具有…
工作职责
1. 参与多模态语音交互场景下的语音理解、语音生成和语音交互大模型的算法研发、性能优化与落地实现； 2.参与数字人场景下的个性化实时情感对话语音合成、低资源音色克隆、语音识别、语音增强、语音检测、语种识别、声纹识别、说话人分割、变声、音乐生成等技术研发； 3.参与语音相关算法引擎的流式改造、推理优化、大并发低延迟云服务、私有化服务定制开发； 4.跟进学术界、行业最新的研究趋势，产出新的科研成果，并落地于实际产品。
1. 参与多模态语音交互场景下的语音理解、语音生成和语音交互大模型的算法研发、性能优化与落地实现； 2.参与数字人场景下的个性化实时情感对话语音合成、低资源音色克隆、语音识别、语音增强、语音检测、语种识别、声纹识别、说话人分割、变声、音乐生成等技术研发； 3.参与语音相关算法引擎的流式改造、推理优化、大并发低延迟云服务、私有化服务定制开发； 4.跟进学术界、行业最新的研究趋势，产出新的科研成果，并落地于实际产品。
本课题的研究目标是优化AI与人类的多模态交互体验，通过研发能够融合文本、视觉和语音等多种模态的自然交互机制，使AI系统能够通过理解图像内容、语音语调和情感等非文本信息增强交互效果。 研究将探索情境感知与个性化适应技术、多轮多模态交互中的意图理解与记忆保持能力，以及跨模态信息的整合与表达方式，使AI系统能够更好地理解用户通过不同感知通道传达的需求，提供视觉和语音层面的情感共鸣，并在长期多模态交互中不断适应用户偏好，实现更加流畅、高效且人性化的人机协作。
本课题围绕点点、搜索等依赖自然人机交互的业务场景，打造面向AI Agent的端到端全双工自然语音交互能力，预期构建具有小红书特色的最低延迟、最具人感、最懂用户的语音Agent。 重点攻克如何打造真实自然稳定的拟人感语音交互难题。其细分研究方向大模型语音内容理解【最懂用户】、可控对话式大模型语音合成【最具人感】、全双工speechLLM【最低延迟】等。
尽管当前的多模态大模型（融合视觉、语音、文本）已展现出强大的感知与理解潜力，但是在实时交互场景中，由于模型设计导致的高延迟、生硬的轮次状态、频繁的打断或被打断严重影响信息传递效率。同时多个模态无法实时融合也限制了多模态模型在语音交互场景下的深度应用。生成的交互内容有时显得冗长、缺乏提炼或智能不足，这些问题限制了用户与大模型实时交流的体验。 本课题的目标是设计并验证一种全模态实时交互的大模型架构，将视觉模态、语音流模态、思考模态信息以及 SOTA LLM 进行实时融合。从而使得大模型可以与人进行即时、流畅、且深入浅出、富有智慧的多模态自然语音对话。