阿里巴巴未来生活实验室-语音大模型算法专家-北京/杭州
任职要求
职位描述 1、硕士及以上学历，2年以上相关工作工作,计算机、人工智能、机器学习等相关专业优先; 2、对主流的语音大模型例如VALL-E等有较好的理解，对主流文本大模型的原理有较为深入的理解 3、具备较好的编程能力，动手能力强，熟练使用C/C++和Pytho…
工作职责
1、 参与语音大模型的研发，包括语音识别、语音合成、音色克隆、端到端合成等技术； 2、探索歌曲、音乐等音频的理解与合成技术； 3、打造全模态的大模型； 4、将以上技术落地到淘天业务，考虑模型性能与效率。
1. 负责面向AI手机等ToB场景的多模态交互模型研发，包括语音基础模型、视觉-语言模型（VLM）、全模态大模型的后训练（CPT/SFT/RL）与推理优化。 2. 研发基于神经网络、扩散模型或大模型的端侧音频信号处理算法（如语音增强、降噪、去混响），提升复杂声学环境下的语音交互质量。 3. 构建支持自然打断、精准判停、上下文感知的实时双工交互模型，实现低延迟、高鲁棒性的流式对话体验。 4. 针对端侧资源约束，开展模型压缩、量化、蒸馏及高效部署，确保算法在DSP/NPU等嵌入式平台稳定运行。 5. 与系统、产品团队紧密协作，推动算法从原型验证到大规模商用落地。
1. 负责面向AI手机等ToB场景的多模态交互模型研发，包括语音基础模型、视觉-语言模型（VLM）、全模态大模型的后训练（CPT/SFT/RL）与推理优化。 2. 研发基于神经网络、扩散模型或大模型的端侧音频信号处理算法（如语音增强、降噪、去混响），提升复杂声学环境下的语音交互质量。 3. 构建支持自然打断、精准判停、上下文感知的实时双工交互模型，实现低延迟、高鲁棒性的流式对话体验。 4. 针对端侧资源约束，开展模型压缩、量化、蒸馏及高效部署，确保算法在DSP/NPU等嵌入式平台稳定运行。 5. 与系统、产品团队紧密协作，推动算法从原型验证到大规模商用落地。
1. 负责语音识别和语音对话大模型的算法研发与优化，包括声学模型、LLM模型和解码器等，探索新的算法架构，建设高效率、低时延的语音应用系统； 2. 结合业务需求，持续改进现有模型的性能，确保其在不同应用场景下的准确性和鲁棒性，提升语音助手和语音智能体用户体验； 3. 构建和管理大规模语音识别和语音对话语料库，用于训练、验证和测试模型； 4. 跟踪前沿技术和研究动态，提出新颖的算法思路和解决方案。
1. 负责语音识别和语音对话大模型的算法研发与优化，包括声学模型、LLM模型和解码器等，探索新的算法架构，建设高效率、低时延的语音应用系统。 2. 结合业务需求，持续改进现有模型的性能，确保其在不同应用场景下的准确性和鲁棒性，提升语音助手和语音智能体用户体验。 3. 构建和管理大规模语音识别和语音对话语料库，用于训练、验证和测试模型。 4. 跟踪前沿技术和研究动态，提出新颖的算法思路和解决方案。