小米顶尖应届-语音大模型算法工程师-大模型
任职要求
1. 精通机器学习（深度学习），具备卓越的创新研究能力，充满对未知领域的好奇心，热衷于探索前沿技术边界； 2. 编程能力出色，熟练掌握至少两种编程语言，精通Pytorch/Tensorflow，能够将创造性想法快速转化为高效代码； 3. 研究成果丰富，在国际顶级会议或期刊（如NeurIPS、ICLR、ACL、CVPR、COLT等）发表高水平论文，展现独特洞见与技术突破； 4. 在领域内知名比赛中取得优异成绩者优先，体现解决复杂问题的创造力与竞争力； 5. 笃信通用人工智能（AGI）的未来愿景，致力于通过开放协作与持续创新推动AGI发展； 6. 认同开放共进的企业文化，具备敏锐的逻辑思维、卓越的沟通协调能力和自我学习能力，主动负责，严谨细致，勇于挑战常规，追求极致。
工作职责
1. 大规模语音模态预训练 研究如何用千万小时级别语音数据在百亿级别参数模型上进行高效预训练，有效提取与利用通用声学与语义特征，提升语言理解及语音生成的一致性和自然度； 2. 多语言语音理解与生成 研究跨语言语音数据的共享表示方法，提升语音模型对多语言、方言的适配能力； 3. 噪声环境及复杂声学场景下的处理能力 研究语音大模型在嘈杂、混响、远场等典型场景下的泛化性； 4. 探索高效语音信息压缩方法 研究语音模态压缩方法，以实现长时理解，并适配不同类型的设备（云侧和端侧）的部署需求。 【课题名称】 语音理解和生成大模型 【课题内容】 本课题拟围绕先进的语音理解与生成大模型，研发面向复杂场景的通用语音技术。项目将通过大规模语音数据预训练与强化学习方法，探索高鲁棒性、高自然度的语音理解与生成能力。
1. 聚焦语音/音频生成大模型技术研究，涵盖多模态融合，提升长序列建模能力与实时性； 2. 研发风格与情感可控技术，构建语义-时序-声学等多级可控接口，支持音色迁移与交互式编辑； 3. 落地助手、无障碍等小米应用场景，发表顶会论文一篇以上，申请专利两项以上。 【课题名称】 语音生成大模型研究与应用 【课题内容】 研究语音或音频生成与编辑大模型相关技术，优化生成效果及可控性，平衡效率与效果，探索前沿的声音生成技术方案等。
1. 研发端到端全模态理解和推理大模型核心技术，在模型结构、对齐策略、指令微调、偏好对齐、多阶段渐进式学习训练策略、推理能力增强（关系推理、因果推理、常识推理）等方面做出创新突破，达到业内一流； 2. 研发视觉理解和推理大模型核心技术，在图像理解，视频理解，视觉推理能力增强（关系推理、因果推理、常识推理），GUI屏幕感知和推理、端到端图像翻译等方向创新突破，达到业内一流； 3. 优化语音识别大模型的上下文感知能力，通过送入交互历史信息提升语音识别准确率；优化语音识别大模型的热词感知能力，通过送入相关热词提升语音识别准确率；优化语音多模态理解大模型的SpeechEncoder，提升语音理解大模型的语音理解能力和声音理解能力，包括语音内容、情感、性别、声音事件、音乐风格等；在用户跟智能体对话的过程中，检测用户的表达完整性，从而加快系统响应速度且不带来更多的误截断；在语音对话模型中，检测用户交互的对象，从而提升打断的有效性和系统交互的响应速度； 4. 端到端全模态理解和推理、视觉理解、语音理解等，建立比较广泛的业界影响力，论文引用数300+、主流算法竞赛/排行榜TOP1、开源Star 2000+等； 5. 端到端全模态理解和推理、视觉理解、语音理解等，落地在小米核心业务场景，提升核心产品竞争力和用户智能体验，包括手机（OS/小爱）、汽车、生态链等。 【课题名称】 端到端全模态理解和推理大模型研究与应用 【课题内容】 1. 研究端到端全模态理解和推理大模型的核心技术，产出突破性成果，在小米核心业务场景落地；输入文本、图像、视频、语音等模态，输出文本、语音等模态；探索全模态信息感知能力；探索全模态混合推理思维链；探索全模态思维强化； 2. 研究视觉理解和推理的核心技术和应用，包括图像理解与推理、长视频理解与推理、屏幕感知和端到端图像翻译等； 3. 研究语音理解大模型的感知关键技术，包括有效利用场景、上下文、个性化信息更好的进行音频内容的转写以及副语言信息的提取，用户表述完整性检测等，提升流式交互系统的响应速度和理解准确性等。
1. 多模态感知融合：结合用户的语音、表情、手势姿态、眼动，以及汽车各种传感器状态，实现对模态输入的编码与解码； 2. 利用在线强化学习实现端云结合的大模型基座更新； 3. 基于大模型的生成能力，构建用户反馈行为序列； 4. 构造大模型在线主客观评估体系。 【课题名称】 基于大模型的意图监测 【课题内容】 通过在线强化学习（RL）、多模态感知理解生成技术，实现对用户意图的精准识别和响应。
1. 设计和实现先进的音频处理算法，包括不限于声音分离、增强和提取，声音修复，声音编辑和后处理等； 2. 设计和开发声音大模型，包括但不限于模型预训练和finetune； 3. 负责音频数据的预处理、标注和分析，确保数据质量满足模型训练需求； 4. 设计和完成实验，评估模型性能，对结果进行分析并持续提升性能； 5. 撰写技术文档、技术专利和研究报告； 6. 跟踪最新的研究趋势和技术进展，将创新技术应用到项目中。 【课题名称】 通用音源分离算法实现下一代沉浸智能通话系统预研 【课题内容】 基于声音大模型的通用音源分离系统的设计和开发，包括声音基座大模型、通用音源分离、语音分离和音乐分离相关算法。