小米omni大模型算法专家
任职要求
* 计算机、数学、信息、电子工程等相关专业硕士及以上学历； * 扎实的算法基础，熟悉大模型训练、微调及推理优化，有多模态项目经验者优先； * 较强的代码能力，熟练掌握PyTorch/…
工作职责
* 负责语音及视觉多模态端到端omni大模型算法的研发和调优，探索和打造小爱同学新一代交互架构，提升小米汽车、手机、眼镜及音箱电视设备的用户体验； * 深入理解业务需求，提出解决方案并推动技术实现； * 跟踪前沿技术进展，结合业务场景进行技术迭代与优化。
1. 负责面向AI手机、智能座舱等ToB场景的多模态交互模型研发，包括语音基础模型、视觉-语言模型（VLM）、全模态大模型的后训练（CPT/SFT/RL）与推理优化。 2. 研发基于神经网络、扩散模型或大模型的端侧音频信号处理算法（如语音增强、降噪、去混响），提升复杂声学环境下的语音交互质量。 3. 构建支持自然打断、精准判停、上下文感知的实时双工交互模型，实现低延迟、高鲁棒性的流式对话体验。 4. 针对端侧资源约束，开展模型压缩、量化、蒸馏及高效部署，确保算法在DSP/NPU等嵌入式平台稳定运行。 5. 与系统、产品团队紧密协作，推动算法从原型验证到大规模商用落地。
1. 负责Qwen-Omni多语言能力研发，解决多语言语音翻译、实时同传等技术问题。 2. 大模型算法前沿技术追踪、探索，建设技术影响力。 3. 研发基于多模态大模型的多语言/跨语言任务处理新范式，构建基于大模型的多语言应用。 4. 负责在电商、教育、广告、游戏等多语言业务场景的应用落地。
1、负责大模型TTS和大模型音频生成技术构建。为语音助手超级智能体提供音频技术支持，包括但不限于TTS、端到端语音大模型、音频AIGC等； 2、负责关键场景的语音交互大模型算法优化，构建高质量低延迟的TTS和音频生成系统，提升业务效果； 3、跟进业界前沿的语音生成大模型技术，如语音端到端大模型和全模态模型等，提升语音助手场景的智能化并落地产品。
1.负责多模态大模型全链路研发与优化，涵盖 SFT、RL 训练等关键环节，探索图文、视频、音频等多模态数据的质量评估与清洗方法、优化模型训练策略及结构设计、提升模型泛化与推理能力。 2.结合业务场景需求，主导多模态大模型落地项目，涵盖内容理解与结构化、质量甄别、智能生成等任务，设计算法方案并推动上线，提升业务效率与用户体验。 3.跟踪多模态大模型前沿技术，探索其在安全治理场景的适配性和落地，驱动技术迭代。 4.承担团队管理与人才培养，提升团队技术影响力。