腾讯腾讯云语音大模型算法工程师(TTS)
任职要求
1.计算机、人工智能、通信等相关专业,3年+ TTS方向工作经验,硕士及以上学历; 2.熟悉 TTS 基础理论与主流模型,包括 FastSpeech、VITS、CosyVoice 等; 3.精通 Python,熟悉 Linux 与深度学习框架,如 PyTor…
工作职责
1.负责多任务、多语种 TTS 大模型的研发,包括预训练、后训练 与效果优化; 2.负责语音合成核心算法研发,包括 声学模型、声码器、Voice Cloning 等; 3.推动语音合成技术在实时对话、客服、社交、教育等业务场景中的落地与优化; 4.负责大规模语音数据处理与训练体系建设,包括数据清洗、评测、训练; 5.跟踪语音生成领域前沿技术,包括 Flow Matching、 DiTAR、DiT、多模态语音生成等方向。
深入阿里云各行业的真实业务场景,基于阿里的语音与全模态大模型(Omni/ASR/TTS),打造行业领先的领域模型与定制化解决方案,并将核心能力反哺至基座模型。工作内容包括并不限于: 1、业务攻坚与定制化调优:深入理解业务场景(如智能客服、会议转录、车载语音、在线教育等),针对客户真实需求和挑战问题(如高噪音、多说话人、情感感知等)进行算法攻坚和端到端交付。 2、大模型增强:利用后训练全链路技术和数据飞轮(数据构建 → 模型微调 → 强化对齐 → 效果评测),增强模型的语音识别、语音合成、多模态理解、声纹识别等核心能力,并将评测、数据和算法能力沉淀到基座模型,持续提升通用大模型在真实场景中的能力。 3、多模态融合与对齐优化:主导语音信号与文本、图像、视频等模态的深度融合技术研发,解决跨模态语义对齐、噪声鲁棒性、低资源适配等关键挑战。
1. 探索基于大模型的语音双工交互系统关键技术,包括流式语音理解、增量文本生成、打断检测与恢复等; 2. 参与端侧轻量化语音大模型的研发,开展模型压缩(剪枝/量化/蒸馏)、硬件感知优化与高效推理引擎实现; 3. 参与设计并实现端云任务动态协同调度机制,基于网络状态、用户意图、隐私敏感度等多维上下文,智能分配计算负载,实现性能与隐私的最优平衡; 4. 参与构建支持跨端云一致性的多轮对话状态管理框架,确保长上下文语义连贯性与用户记忆的无缝衔接; 5. 参与建立面向真实场景的端云融合语音系统综合评估体系,从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。
1.负责语音识别ASR应用涉及的效果调优与实现,比如多语种语音识别与翻译(中/英/法/日/韩/东南亚/中东等)、端侧超级轻量级高效ASR的落地实现、解决目标说话人增强的ASR相关技术的落地、声学/语意vad等; 2.负责语音识别asr-llm大模型与前沿技术调研与落地,比如更合理的语音与文本对齐、适用于多语种的模型方案、更高效的弱监督数据筛选流程等; 3.负责跟踪并复现业界最前沿的音频处理方案,并能融合优化当前效果。