千问千问事业部-大模型TTS和音频生成算法专家-杭州/上海
任职要求
1、计算机、人工智能、模式识别等相关专业硕士及以上学历; 2、熟悉Linux系统和常用的数据结构,熟练使用Python/C++等至少一种编程语言,熟练使用TensorFlow/PyTorch等至少一种深度学习框架; 3、深入理解端到端语音大模型的原理和架构,熟悉常见的语音和全模态大模型,如qwen-TTS、qwen-omni、Whisper等,对语音识别…
工作职责
1、负责大模型TTS和大模型音频生成技术构建。为语音助手超级智能体提供音频技术支持,包括但不限于TTS、端到端语音大模型、音频AIGC等; 2、负责关键场景的语音交互大模型算法优化,构建高质量低延迟的TTS和音频生成系统,提升业务效果; 3、跟进业界前沿的语音生成大模型技术,如语音端到端大模型和全模态模型等,提升语音助手场景的智能化并落地产品。
1、负责将声学知识(人声和音乐)应用于文本到语音(TTS)与文本到音乐生成场景,从应用链路的各个环节提升声音质量,包括语音自然度、情绪表达、音色一致性,以及音乐的旋律优美度、节奏准确性等,以满足实际场景需求; 2、深入理解音乐结构(旋律、和声、节奏、情绪)与音频信号处理,将音乐理解相关特征引入 TTS/SVS 模型,提高音乐性、可控性与生成质量; 3、参与歌声合成(SVS)和声音克隆(VC)相关模型的研发与调优,包括音高曲线控制、韵律建模、音色迁移、多风格歌唱生成等; 4、跟进行业前沿的 TTS、歌声合成、音频生成模型技术(如 Diffusion、Flow Matching、GAN、Neural Codec、音频 LLM 等),并将其有效应用于实际业务场景; 5、构建与维护大规模音频与语音训练数据集,设计高效的数据清洗、标注、增强、去噪与特征提取流程; 6、分析与解决应用中的关键问题,如音质退化、发音错误、韵律异常、音色偏移等,并持续优化模型性能; 7、与音乐制作、产品、内容团队协作,推动模型在 AI 音乐创作、AI 歌手、AI 语音助手、语音互动等场景的落地,并根据反馈持续迭代。
1.根据项目需求,与数据专家及算法团队一起制定数据方案(中文&英文)。参与语音数据的录制、标注、校验与质量评估,保证数据工作的质量和准确性。 2.参与设计语音模型评测方案,跟进模型训练各阶段的模型效果评估,撰写评测/反馈报告。 3.关注主流语音模型及AI产品的相关信息,进行市场调研与用户研究,撰写调研报告。 4.与上下游相关部门协作,跨团队沟通协调,保证项目顺利推进。
1.负责多任务、多语种 TTS 大模型的研发,包括预训练、后训练 与效果优化; 2.负责语音合成核心算法研发,包括 声学模型、声码器、Voice Cloning 等; 3.推动语音合成技术在实时对话、客服、社交、教育等业务场景中的落地与优化; 4.负责大规模语音数据处理与训练体系建设,包括数据清洗、评测、训练; 5.跟踪语音生成领域前沿技术,包括 Flow Matching、 DiTAR、DiT、多模态语音生成等方向。
1、大模型与智能体核心能力建设: 围绕销售及大件业务场景,负责大语言模型在意图识别、规划理解、多轮对话、用户画像与偏好洞察、话题与线索分析、知识问答及 chatBI 等核心能力上的应用设计、微调与持续优化,支撑线索智能体、销售助手智能体及大件智能体等关键场景落地。 2、智能体推理链路与多智能体协同设计: 参与线索子智能体、销售助手子智能体、大件智能体与一级、三级销售智能体的大模型协同架构设计,构建基于大模型的多轮推理、任务分解与业务决策链路,提升智能体在复杂销售与大件业务场景下的理解、决策与协同执行能力。 3、智能体工程化与能力复用建设: 设计并持续优化 Prompt、RAG(检索增强生成)、工具调用及 Agent 协作机制,推动大模型、推荐及相关决策能力的工程化落地,保障智能体能力的稳定性、可扩展性与跨场景复用。 4、业务决策模型与数据驱动优化: 结合销售线索质量、智能报价与折扣策略等业务需求,支持折扣方案模型的优化与场景拓展,通过数据挖掘与分析持续评估智能体与模型效果,驱动核心能力的迭代优化与业务价值提升。