小米顶尖应届-图像算法工程师（屏幕画质）-手机

1. 负责各类多模态大模型的预训练，微调和部署，并应用于实际业务中； 2. 探索知识增强技术，通过个人数据提升个性化模型的语言理解和生成能力； 3. 融合多模态数据，攻关具备自主观察环境和推断用户需求的意图决策大模型； 4. 搭建基于端侧VLM的屏幕理解能力，实现具备泛场景能力的GUI Agent； 5. 探索机器学习领域的新技术，探索与其他领域的技术融合。并撰写相关论文，专利。 【课题名称】 OSAgent能力预研：记忆、决策与操控 【课题内容】 1. 记忆：端侧持续进化的数字人格； 2. 决策：精准意图预测的主动智能； 3. 操控：人车家全生态的泛在操控。

1. 研发端到端全模态理解和推理大模型核心技术，在模型结构、对齐策略、指令微调、偏好对齐、多阶段渐进式学习训练策略、推理能力增强（关系推理、因果推理、常识推理）等方面做出创新突破，达到业内一流； 2. 研发视觉理解和推理大模型核心技术，在图像理解，视频理解，视觉推理能力增强（关系推理、因果推理、常识推理），GUI屏幕感知和推理、端到端图像翻译等方向创新突破，达到业内一流； 3. 优化语音识别大模型的上下文感知能力，通过送入交互历史信息提升语音识别准确率；优化语音识别大模型的热词感知能力，通过送入相关热词提升语音识别准确率；优化语音多模态理解大模型的SpeechEncoder，提升语音理解大模型的语音理解能力和声音理解能力，包括语音内容、情感、性别、声音事件、音乐风格等；在用户跟智能体对话的过程中，检测用户的表达完整性，从而加快系统响应速度且不带来更多的误截断；在语音对话模型中，检测用户交互的对象，从而提升打断的有效性和系统交互的响应速度； 4. 端到端全模态理解和推理、视觉理解、语音理解等，建立比较广泛的业界影响力，论文引用数300+、主流算法竞赛/排行榜TOP1、开源Star 2000+等； 5. 端到端全模态理解和推理、视觉理解、语音理解等，落地在小米核心业务场景，提升核心产品竞争力和用户智能体验，包括手机（OS/小爱）、汽车、生态链等。 【课题名称】 端到端全模态理解和推理大模型研究与应用 【课题内容】 1. 研究端到端全模态理解和推理大模型的核心技术，产出突破性成果，在小米核心业务场景落地；输入文本、图像、视频、语音等模态，输出文本、语音等模态；探索全模态信息感知能力；探索全模态混合推理思维链；探索全模态思维强化； 2. 研究视觉理解和推理的核心技术和应用，包括图像理解与推理、长视频理解与推理、屏幕感知和端到端图像翻译等； 3. 研究语音理解大模型的感知关键技术，包括有效利用场景、上下文、个性化信息更好的进行音频内容的转写以及副语言信息的提取，用户表述完整性检测等，提升流式交互系统的响应速度和理解准确性等。

1. 负责相机画质算法的研发和优化，包括但不限于图像处理、降噪、锐化、超清等方面； 2. 参与相机软硬件系统的设计和开发，提升相机画质表现； 3. 负责相机画质算法的性能测试和模型/方案优化，提高算法效率和稳定性； 4. 跟踪业界最新的相机画质算法技术，包括DeepISP、diffusion大模型等，不断优化和改进公司的相机画质表现。 【课题名称】 拍照解析力生成算法 【课题内容】 1. 研发基础倍率/变焦模式下的纹理细节生成算法； 2. 研发transformer网络做去噪/超分任务的落地方案； 3. 研发运动/失焦deblur、纹理收边、细节增强等拍照后处理算法； 4. 探索图像大模型的小型化落地方案，以及训练数据生成方案。

1. 参与视频AI Deblur算法的设计、训练与优化； 2. 构建大规模模糊视频数据集，完成数据标注与预处理； 3. 跟踪领域前沿技术（如Transformer、扩散模型），探索创新方案； 4. 协助模型在手机端部署与性能调优； 5. 撰写技术文档与论文，推动成果落地至小米核心产品线。 【课题名称】 视频AI Deblur 【课题内容】 研究并开发基于深度学习的视频去模糊算法，解决动态模糊、运动模糊等视频质量退化问题，提升视频清晰度与用户体验。技术方向包括但不限于：时空特征融合、多帧对齐与重建、轻量化模型部署、端到端优化等，目标为实现行业领先的实时视频修复能力。