哔哩哔哩语音大模型算法工程师
任职要求
1、计算机科学、人工智能等相关领域博士学历，毕业于985高校或海外知名院校； 2、拥有语音技术领域的研究或工作经验，熟悉多模态理解和生成原理，对大模型底层技术有深入理解，敢于挑战技术边界； 3、在ACM等相关编程竞赛中有突出表现或在GitHub上有影响力的开源项目，曾在InterSpeech、ICASSP等顶级会议上发表论文者优先考虑； 3、对端到端语音交互技术有深刻理解，跨语言语音处理技术有实际研究和开发背景，熟悉相关模型和技术栈者优先。
工作职责
1、负责语音大模型的迭代与优化，涵盖语音识别、语音翻译、语音合成、音色克隆、智能语音对话、音乐生成等通用模型或垂直领域模型的技术升级； 2、跟踪前沿技术动态，开展深入研究，并撰写和发表相关领域高水平学术论文； 3、优化强化学习在语音大模型场景中的应用，推动多模态技术的深度融合； 4、深入研究端到端语音实时交互技术，解决跨语言理解、翻译与合成的关键问题，优化语音输入到多模态输出的全链路效果。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于追逐实现 Omni 基座模型，实现多模态理解与多模态生成一体化。在此之中，语音理解与语音生成是极其重要的技术，影响着下一代 AI 的交互形式，同时通过生成语音甚至创造音乐等方式改变人类的生活与工作。团队音频组负责围绕 Qwen 基座模型展开音频处理以及与音频交互相关的基础研究及其应用，代表工作有 Qwen2.5-Omni, Qwen2-Audio, Qwen-Audio。音频组招收理解以及生成方向研究员，包括但不限于 ASR, TTS, S2TT，TTS, Zero-Shot TTS, Music/Song Generation， 同时也欢迎擅长音频交互的工程师，负责基座模型的开源与落地应用，支持开发实时交互系统。 工作职责： 1. 单人/多说话人语音识别。 2. 语音合成与高质量音频合成。 3. 音频前端与音色转换。 4. 音色克隆(Zero-Shot TTS)。 5. 音乐生成 / 歌声生成。 6. 理解指令遵循能力提升与推理，包括 SFT, GRPO 等。 7. 流式音频交互模型的推理与加速 (熟悉RTC/WebSocket等)。
1.研发具备通用能力的端到端语音大模型，包括多语种语音识别、语音合成、声纹识别、副语言信息理解等； 2.推动上述语音技术与团队内部大语言模型 (LLM) 的深度融合，参与设计和实现智能语音交互系统架构； 3.在微信AI探索业务中，基于微信场景数据提供技术解决方案，探索业界前沿技术在业务中的落地与指标优化。
1. 负责语音多模态大模型的研究与开发，包括Pretrain、SFT、RLHF等； 2. 负责语音处理算法的研究与开发，支撑大模型训练对数据的需求； 3. 负责大模型技术在快手业务中的落地，并探索新玩法或业务创新； 4. 负责跟踪国内外前沿技术的发展和实践，保持团队技术的敏锐性。
1. 大规模语音模态预训练 研究如何用千万小时级别语音数据在百亿级别参数模型上进行高效预训练，有效提取与利用通用声学与语义特征，提升语言理解及语音生成的一致性和自然度； 2. 多语言语音理解与生成 研究跨语言语音数据的共享表示方法，提升语音模型对多语言、方言的适配能力； 3. 噪声环境及复杂声学场景下的处理能力 研究语音大模型在嘈杂、混响、远场等典型场景下的泛化性； 4. 探索高效语音信息压缩方法 研究语音模态压缩方法，以实现长时理解，并适配不同类型的设备（云侧和端侧）的部署需求。 【课题名称】 语音理解和生成大模型 【课题内容】 本课题拟围绕先进的语音理解与生成大模型，研发面向复杂场景的通用语音技术。项目将通过大规模语音数据预训练与强化学习方法，探索高鲁棒性、高自然度的语音理解与生成能力。