米哈游全模态 Omni 音频研究员

全面负责定义、设计并实现下一代实时音视频通话 AI 应用的核心模型能力与交互体验，围绕 Omni 多模态模型在实时对话场景中的落地，重点攻坚模型后训练、数据构建与评测体系等关键问题，持续提升模型在聊天、问答、生活办事等场景下的自然度、智能性、趣味性与任务完成效果。您将直接参与塑造面向海量用户的实时 AI 通话体验，推动 AI 从“能回答”走向“更像真人、更懂用户、更会互动”的下一代产品形态。 【工作职责】 1. 结合实时音视频通话场景中的用户需求与交互特点，定义模型能力目标与体验标准，制定后训练与效果演进方案，持续优化响应速度、表达自然度、理解准确性与任务完成效果。 2. 围绕 Omni 多模态模型开展 Post-training 工作，包括 SFT、RL、数据配比优化、训练目标设计与策略迭代，提升模型在多轮对话、上下文理解、情绪感知、口语表达等方面的能力。 3. 构建实时 AI 通话场景的数据与评测体系，覆盖聊天、问答、生活服务等核心场景，建设监督数据、偏好数据、强化学习数据及线上回流样本，建立可量化的效果评估标准并驱动持续优化。 4. 面向真实产品链路中的复杂问题，优化模型在打断恢复、上下文衔接、模糊意图理解、口语化问答、多模态信息融合等场景下的表现，并与产品、工程、语音、评测等团队协同推动落地。

1. Speech & Omni 模型研发：进行支持语音、文本等多模态输入输出的端到端大模型训练与微调，优化模态间的对齐机制及交互延迟。 2. 多模态数据处理：构建高质量的语音-文本-图像混合指令数据集，探索利用合成数据提升模型在复杂场景下的理解与生成能力。 3. 前沿技术探索：跟进 Omni LLM 最新进展（如流式语音交互、情感控制、非语言声音理解），复现 SOTA 基线并协助验证新算法效果。 4. 评测与 Bad Case 分析：建设完善多模态综合评测体系，深入分析跨模态幻觉、指令遵循偏差等问题，输出改进策略。

我们正在打造面向智能硬件和座舱场景的下一代语音 AI 助手，目标是实现低延迟、强理解、可规划、强智能、强人感、千人千面、可控且安全的自然交互体验。你将围绕“数据—训练—评估—上线”的全链路闭环，推进 LLM/Omni 模型的后训练与对齐体系建设，持续驱动产品效果提升与规模化应用。目前应用已上线国内外头部车企及千问眼镜端。 1、驱动下一代语音AI助手的研发与落地：探索并应用SFT、DPO、RLHF、RLVR等训练范式，开展LLM/Omni模型后训练与对齐，持续提升模型在多轮理解、RAG、逻辑推理、拟人化表达、个性化、多跳规划、长短期记忆、用户偏好理解、指令遵循、安全及幻觉抑制等方面的能力与稳定性。 2、负责数据飞轮与评估体系建设：搭建端到端数据体系，基于线上流量构建闭环数据飞轮（标签体系、自动化 badcase 挖掘、数据筛选与回流机制等）；设计自动化评测与监控方案，持续量化跟踪模型迭代收益与回归风险。 3、探索并落地语音场景创新能力：面向闪购/团购/订票、智能导航、Agent 助手、智能感知与提醒等新业务新功能，完成能力设计、方案实现与效果验收，推动规模化上线。 4、参与技术影响力建设：推动关键技术开源、工程化沉淀与对外技术输出，参与学术研究并在顶会/顶刊发表成果或贡献核心开源项目。

1、参与贝壳全模态智能体核心能力建设，围绕大语言模型（LLM）开展增量预训练、指令微调及对齐优化（SFT / RLHF / DPO / RLAIF 等），提升模型在复杂业务场景中的推理、规划与决策能力； 2、设计与优化基于LLM的Agent系统，包括任务拆解、链式推理、多步决策、工具调用（Tool Use / Function Calling）、RAG增强、长短期记忆机制等核心能力建设； 3、构建面向垂直业务场景的智能体解决方案，提升模型在多轮对话、流程执行、结构化信息理解与生成等复杂任务中的稳定性、可控性与泛化能力； 4、推动文本为核心的全模态能力融合，探索文本与视觉、语音等模态的统一建模与对齐机制，提升跨模态理解与交互能力； 5、搭建全模态智能体的数据与评测体系，包括指令数据构建、偏好数据生成、自动化benchmark设计及效果评估，支撑模型持续迭代优化； 6、与工程、产品团队紧密协作，推动全模态智能体系统在真实业务场景中的规模化落地与性能优化。