小米语音多模态大模型算法工程师
任职要求
1、人工智能、计算机工程或相关技术领域硕士以上学历 2、具备扎实的算法基础,在大模型方向有一定经验,对预训练、微调等技术有深入了解,有多模态大模型、语音大模型、语音端到端对话的实战经验者优先 3、精通Python…
工作职责
1、负责语音多模态模型算法方案研发、迭代和落地应用 2、负责大规模、多模态数据集的构建、清洗、标注和管理 3、持续跟踪国际前沿的语音、多模态及大模型技术动态
1. 语音多模态大模型算法创新:面向下一代语音多模态通用大模型,探索并定义统一的技术范式,开展文本、语音等多模态的联合建模与协同推理研究,系统性解决多模态对齐、跨模态推理、Agentic 能力等核心挑战,持续推动模型能力与泛化上限。 2. 场景驱动的算法创新:紧密结合真实业务场景(如智能交互、内容生成、跨模态检索等),设计并优化多模态大模型架构与训练策略,在保证效果领先的同时,持续提升模型效率、稳定性与鲁棒性,推动技术在复杂场景中的规模化落地。 3. 前沿应用技术探索:跟踪并深度参与 LLM、多模态模型、Diffusion Models、强化学习等方向的前沿研究,快速完成技术验证与实验迭代,探索新建模范式与训练范式,持续刷新相关任务的 SOTA。"
1. 负责语音生成/语音识别/语音合成/声纹/语种/情感等方向的算法研究和开发; 2. 负责语音信号处理的相关算法研究和开发,包括语音增强、回声消除、混响消除、自动增益控制、波达方向估计、波束形成等; 3. 负责口语语言理解/用户意图理解/对话模型/语音交互等算法研究和开发; 4. 语音统一多模态大模型:研究下一代多模态通用大模型技术范式,实现文本、语音、视觉模态的联合建模。
1、负责语音大模型、多模态大模型算法研发与迭代,涵盖语音理解、语音生成、语音对齐、音频文本多模态融合等核心技术研发工作; 2、参与语音大模型预训练、微调、Prompt优化与模型对齐实验,针对语音降噪、语音合成、口语理解、多模态交互等场景优化模型效果; 3、调研跟进语音大模型、多模态融合领域前沿论文与业界方案,完成算法复现、实验对比、方案迭代,解决语音模型泛化差、推理精度不足等场景问题; 4、负责语音数据集清洗、构建、标注优化,完成模型训练、评测、复盘,输出实验文档与技术报告,协助推进多模态语音模型业务落地。