米哈游通用音频理解大模型研究员
任职要求
1、计算机科学、人工智能、电子工程等相关博士学历； 2、具备大模型（LLM 或多模态）训练经验，熟悉 Transformer 架构与大规模分布式训练框架（Megatron-LM, DeepSpeed，TorchTitan 等）； 3、深入掌握以下至少一方向： • 通用音频自监督表征，如 Best-RQ, CLAP, wav2vec bert2.0 等 • 音频多模型架构、预训练、后训练以及RL • 语音识别/说话人日志…
工作职责
专注于AudioLLM通用音频理解模型的研究与开发，参与构建下一代音频基础模型和Omni多模态框架，探索语音、音乐、环境声音等多模态音频内容的统一理解建模方法，推动 audio AI 在理解、生成和交互场景中的技术突破。 核心职责 1、模型架构与训练：负责通用音频理解模型设计与分布式训练优化，实现语音识别、说话人日志、情感分析、音频问答、音乐理解、声音事件检测等多任务统一建模； 2、数据管线：设计并落地大规模多模态音频数据 pipeline，完成数据对齐、质量控制与自动标注； 3、跨模态融合：研究音频编码器与大语言模型融合技术，优化跨模态注意力与统一特征表示。
专注于AudioLLM通用音频理解模型的研究与开发，参与构建下一代音频基础模型和Omni多模态框架，探索语音、音乐、环境声音等多模态音频内容的统一理解建模方法，推动 audio AI 在理解、生成和交互场景中的技术突破。 核心职责 1、模型架构与训练：负责通用音频理解模型设计与分布式训练优化，实现语音识别、说话人日志、情感分析、音频问答、音乐理解、声音事件检测等多任务统一建模； 2、数据管线：设计并落地大规模多模态音频数据 pipeline，完成数据对齐、质量控制与自动标注； 3、跨模态融合：研究音频编码器与大语言模型融合技术，优化跨模态注意力与统一特征表示。
专注于AudioLLM通用音频理解模型的研究与开发，参与构建下一代音频基础模型和Omni多模态框架，探索语音、音乐、环境声音等多模态音频内容的统一理解建模方法，推动 audio AI 在理解、生成和交互场景中的技术突破。 核心职责 1、模型架构与训练：负责通用音频理解模型设计与分布式训练优化，实现语音识别、说话人日志、情感分析、音频问答、音乐理解、声音事件检测等多任务统一建模； 2、数据管线：设计并落地大规模多模态音频数据 pipeline，完成数据对齐、质量控制与自动标注； 3、跨模态融合：研究音频编码器与大语言模型融合技术，优化跨模态注意力与统一特征表示。
专注于统一音频生成模型的研究与开发，参与构建下一代语音、歌声、音乐、音效等多类型音频生成基础模型，探索大语言模型与音频生成的深度技术融合以及音频-视频联合生成，推动audio AI在语音/歌声合成、音乐创作、音效生成、视频配音等场景的技术突破。 核心职责 1、模型架构与训练：负责统一音频生成模型设计与分布式优化，实现语音/歌声合成+音效生成+音视频联合生成的多任务统一建模； 2、Audio Tokenization：研究连续/离散token的音频表征，优化压缩效率与重建质量的最优平衡； 3、跨模态融合：探索大语言模型与音频生成融合技术； 4、数据管线：参与设计并落地大规模高质量多模态生成数据集，覆盖语音、歌声、音乐、音效及音视频同步数据处理pipeline。
本岗位聚焦通用音频大模型的前沿研究，围绕"听、说、唱、创"全能力统一建模展开攻关。实习生将深度参与语音理解与生成统一架构设计、全双工低延迟交互机制、多模态音视频协同生成等核心方向，探索混合Token架构、Test-Time Scaling、流匹配等前沿技术，推动音频大模型在智能语音助手、交互媒体等场景的落地。