小米顶尖应届-多模态大模型算法研究员-MiMo

1、大规模语音模态预训练 研究如何用千万小时级别语音数据在百亿级别参数模型上进行高效预训练，有效提取与利用通用声学与语义特征，提升语言理解及语音生成的一致性和自然度； 2、多语言语音理解与生成 研究跨语言语音数据的共享表示方法，提升语音模型对多语言、方言的适配能力； 3、噪声环境及复杂声学场景下的处理能力 研究语音大模型在嘈杂、混响、远场等典型场景下的泛化性； 4、探索高效语音信息压缩方法 研究语音模态压缩方法，以实现长时理解，并适配不同类型的设备（云侧和端侧）的部署需求。

将围绕多模态（文本、图像、音频、视频）理解和生成统一的基座大模型的数据、模型结构、统一建模方式、训练与推理优化、深度推理等核心问题展开研究，具体研究内容包括： 1. 多模态（文本、图像、音频、视频）数据的收集、合成及数据策略，提升质量、多样性、可扩展性； 2. 探索多模态理解与生成统一的建模方式； 3. 多模态模型的模型结构的设计与优化，高效的大规模分布式训练和推理系统（云侧和端侧）； 4. 研究多模态模型的深度推理范式。 【课题名称】 多模态生成与理解统一模型 【课题内容】 突破多模态统一建模方式的技术瓶颈，训练理解与生成统一的多模态基座大模型，实现高效训练与推理系统。

1. 参与领域大模型相关技术的调研验证； 2. 参与手机相机影像相关算法研发工作，开发行业领先的影像大模型算法； 3. 参与手机相机视觉相关功能研发，交付落地旗舰机型； 4. 研究行业动态，紧跟视觉/多模态大模型相关领域最新学术研究成果并转化成商用技术； 5. 参与学术研究，产出具备行业影响力的科研成果。 【课题名称】 影像大模型研发-高优先级功能 【课题内容】 1. 影像领域基础模型的研发； 2. 基于大模型的端到端影像系统研发； 3. 基于大模型影像功能算法的研发，具体到大模型抓拍、TurboRaw； 4. 基于大模型的图像理解、感知算法的研发; 5. 大模型小型化技术探索及研发。

1. 研发端到端全模态理解和推理大模型，在模型结构、对齐策略、指令微调、偏好对齐、多阶段渐进式学习训练策略、推理能力增强（关系推理、因果推理、常识推理）等方面做出创新突破，达到业内一流; 2. 端到端全模态理解和推理大模型，建立比较广泛的业界影响力，论文引用数100+、主流算法竞赛/排行榜TOP1、开源Star 1000+等。 【课题名称】端到端全模态理解和推理模型研究与应用 【课题内容】研究端到端全模态理解和推理大模型的核心技术和应用，包括文本、图像、视频、语音等模态输入，文本和语音等模态输出。