蚂蚁金服蚂蚁集团-语音交互智能体算法工程师-杭州/上海
任职要求
1、对Omini模型有后训练经验，SFT、DPO、GRPO等。 2、有智能体Tool调用、记忆压缩的优化经验。 3、…
工作职责
业务背景 资金风控系统面临黑灰产的大量攻击。为了提升风控水位和用户体验，我们通过语音电话模式和用户进行交互获得用户的交易背景信息，分析用户面临的风险。语音Agent方案涉及到全双工语音通话、语音Omini、多样性用户模拟、ProactiveChat、Multi-turnRL、长记忆压缩、多模态表征学习等AI难点。 职位描述 1、在KA风险管理、个人欺诈场景、收单欺诈、欺诈追金场景，基于Omini模型建设端到端语音交互能力。 2、开发语音智能体的tool调用、记忆管理方案，提升交互质量。 2、在语音交互过程中，识别用户的情绪、谎言和风险不一致性，提升交互完成率。
1、负责 YOYO 智能体语音助手的全链路语音算法架构设计与优化，涵盖语音唤醒、VAD（语音活动检测）、语音识别、噪音抑制等核心环节； 2、设计并实现高性能、低延迟的语音唤醒系统，提升唤醒准确率与抗噪能力； 3、深度优化语音处理链路，包括前端信号处理、声学模型、语言模型等，确保在多场景下的稳定性与准确性； 4、制定语音交互系统的技术路线与架构方案，满足多终端（手机、IoT设备、车载等）应用需求； 5、负责语音算法的跨平台部署与性能调优，提升在嵌入式平台及移动端的运行效率； 6、跟踪语音识别、唤醒、自然语言处理等领域的前沿技术，并推动落地应用； 7、指导团队成员进行算法研发，提升整体研发效率与技术水平。
1. 负责3A核心算法的研发与迭代，包括回声消除（aec）、自动噪声抑制（ans）、自动增益控制（agc），确保算法在复杂声学环境下的鲁棒性，保障全双工通话的高保真音质与交互体验。 2. 推动3A算法的轻量化部署与端侧适配，结合深度学习与传统信号处理技术，平衡算法性能与资源消耗，支撑智能体语音交互技术基座建设。 3. 针对人机语音交互、智能体对话等前沿场景，优化VAD判停和语义完整性检查，实现“快速打断，智能判停，实时响应”的自然对话能力； 4. 研发语音识别（ASR）、语音合成（TTS）技术，并探索交互式语音模型在智能体对话中的应用，搭建可控双流模型的数据，训练和评估体系，优化对话模型的边说边听和情感识别能力； 5. 与产品、工程团队紧密合作，将算法模型落地到实际应用中，并持续优化系统性能。 6. 跟踪学术界和工业界的最新进展，探索前沿技术在对话系统中的应用。
1.负责端到端语音翻译方向的算法研究和开发。 2.负责口语语言理解/用户意图理解/对话模型/语音交互等算法研究和开发。 3.语音统一多模态大模型：研究下一代多模态通用大模型技术范式，实现文本、语音、视觉模态的联合建模。
1.负责语音识别/语种识别/情感识别等方向的算法研究和开发； 2.负责音频理解/用户意图理解等算法研究和开发； 3.语音统一多模态大模型：研究下一代多模态通用大模型技术范式，实现文本、语音、视觉模态的联合建模。