阿里巴巴语音算法实习生—端到端语音大模型/统一建模方向
任职要求
1、计算机科学、人工智能、信号处理、电子工程等相关专业在校硕士或博士研究生； 2、精通 Python 编程，熟练掌握 PyTorch 深度学习框架；有 Megatron-LM、DeepSpeed 等大规模分布式训练框架使用经验者优先； 3、深入理解 Transformer 架构及大语言模型（LLM）原理。熟悉主流语音编解码模型（如 VQ-VAE, SoundStream, EnCodec, HiFi-Codec）。熟悉语音大模型相关工作（如 AudioLM, VALL-E, SpeechGPT, Qwen…
工作职责
1、探索并构建语音理解与生成统一的大模型架构（Speech Unified Modal），实现从语音到语音（S2S）、文本到语音（T2S）、语音到文本（S2T）的端到端流式交互能力，对标 GPT-4o 音频模式等前沿技术； 2、负责语音离散化（Audio Tokenizer/Neural Codec）算法的改进与优化，提升语音 Token 在语义理解与声学细节（语调、情感、音色）上的表征能力，降低压缩损耗； 3、参与语音大模型的预训练（Pre-training）、指令微调（SFT）及人类反馈强化学习（RLHF）流程；解决长序列建模、跨模态对齐及推理延迟等技术难题； 4、设计并实施大规模多模态数据（语音-文本交错数据）的清洗、合成与增强方案，构建高质量的语音指令数据集（Instruction Tuning Data）； 5、追踪并复现语音与多模态领域的最新顶会论文（如 ICASSP, Interspeech, ICLR, CVPR 等），将最新的自回归（Autoregressive）或流匹配（Flow Matching）技术应用于内部模型创新。
1. 探索端侧大语言模型LLM的后训练、压缩、量化、解码加速等技术，实现Qwen系列模型的手机端、XR眼镜端、AI眼镜端的实时运行和低延迟回复。 2. 探索端侧语音多模态大模型的架构升级、后训练、压缩量化等技术，打造手机端、XR眼镜端、AI眼镜端能实时运行和低延迟回复的语音对话大模型。 3. 持续关注学术界和行业的最新研究动态，参与研讨会，与顶级团队进行交流合作。
1. 探索端侧大语言模型LLM的后训练、压缩、量化、解码加速等技术，实现Qwen系列模型的手机端、XR眼镜端、AI眼镜端的实时运行和低延迟回复。 2. 探索端侧语音多模态大模型的架构升级、后训练、压缩量化等技术，打造手机端、XR眼镜端、AI眼镜端能实时运行和低延迟回复的语音对话大模型。 3. 持续关注学术界和行业的最新研究动态，参与研讨会，与顶级团队进行交流合作。
团队介绍： 高德语音技术部，是负责高德全栈语音技术的综合性团队。团队核心技术能力包括：自研TTS基座大模型、端侧模型、多语种、RTC流式语音、语音内容生成、语音识别、多模态模型、模型服务与推理。业务支撑面向高德全部核心场景，包括语音导航、AI领航员、IP语音定制、国际化、AI语音助手、智能外呼、内容生成等。 团队定位是通过前沿语音技术的研究和落地，赋能下一代AI产品创新。近期部分技术（https://arxiv.org/abs/2507.12197）和产品进展介绍（https://mp.weixin.qq.com/s/cCeHbNW0jbC_LNVPZlGeHg） 具体职责： 1、参与语音识别、语音合成、Audio Codec、语音大模型等语音能力的设计和训练，解决高德业务场景实际问题。 2、提升鲁棒ASR、多语种（方言）ASR、LLM-ASR、大规模热词、全双工交互等语音理解能力。 3、提升Zero-Shot TTS、多语种TTS、情感TTS、声音复刻等语音生成能力。 4、持续追踪跟进业界前沿先进语音技术，结合业务需求开展技术创新与预研。
1、参与音频生成、音频理解和端到端语音交互大模型算法的基础研究和应用落地，支持千问APP、夸克APP和AI智能硬件等； 2、深入调研和研究音频/NLP/多模态/全模态等方向的前沿技术，持续探索语音技术的新能力和新应用。