小米高级算法工程师（工业视觉）
任职要求
1. 教育背景与经验 - 计算机、人工智能、自动化、数学、电子信息等相关专业，硕士及以上学历； - 5年以上AI算法研发经验，其中至少1-2年专注于大模型（LLM或VLM等）相关领域的研发。 2. 工程与编程能力： - 精通Python编程，熟练掌握PyTorch/TensorFlow/JAX等至少一种主流深度学习框架，能快速复现前沿算法； - 具备良好的软件工程素养和代码规范。 3. 算法能力： - 熟悉CLIP、SAM、QWEN系列等多模态模型的原理和应用，具备处理图像-文本对齐、视觉问答（VQA）、图像描述生成等任务的实践经验； - 精通Agent的设计理念和技术栈，有使用LangChain、LlamaIndex或自研框架构建基于知识库的智能Agent（如RAG系统）的完整项目经验； - 具备丰富的大模型微调（Fine-tuning）实战经验，熟练掌握LoRA、QLoR…
工作职责
1. 多模态大模型研发与落地： - 负责工业视觉质检领域多模态大模型的构建、训练与优化，解决传统CV模型在复杂背景、小样本、零样本缺陷的识别率低的问题。 - 研究并应用多模态融合技术（如图像+文本描述、图像+参数），提升模型对工业缺陷的语义理解与泛化性能，同时实现工业缺陷的自然语言描述生成和智能问答。 - 搭建面向大模型的质检数据生产与清洗的pipeline，包括高质量图文对齐数据的构建、合成数据生成等，并设计模型效果评估体系，驱动算法的持续迭代与优化。 - 针对工业场景的实时性与高精度要求，负责大模型的轻量化部署与推理加速（如量化、剪枝、蒸馏）。 2. 质检Agent智能体构建： - 负责设计并主导研发面向工业视觉质检场景的智能Agent，具备多模态理解能力，能够融合图像、文本（如工艺标准SOP）、传感数据等信息，实现对缺陷的自动化判定、描述、归因及溯源。 - 构建面向质检场景的Agent工作流（Workflow），包括任务规划（模型自动择优等）、节点调用（训练任务的全流程、工具搭建业务流等等）、结果反馈。 - 负责构建并维护质检领域的专业知识库（RAG），结合向量数据库技术，提升Agent在特定缺陷场景下的准确性和可解释性。 3. 大模型微调与优化： - 针对工业质检的小样本、长尾分布问题，设计并实施高效的大模型微调策略（如LoRA、P-Tuning等），提升模型在特定质检任务上的识别检出能力。 - 持续跟进多模态大模型、AIGC、Agent等领域的最新前沿技术进展，并引领团队进行技术预研和创新，探索其在工业缺陷检测中的应用潜力。
1.负责大规模分布式深度学习、强化学习等算法的研发和优化，挖掘海量用户/商家数据，建模用户兴趣，精准洞察预估用户&店铺关系，提升外卖/零售/餐饮/综合等业务外投的CTR/CVR等核心指标； 2.负责站外多业务混排、对外报价等方向的机制设计和算法调优，探索O2O场景下外投投放机制方法； 3.参与探索前沿广告推荐、NLP领域、视觉理解等前沿技术，洞察业务问题进行模型创新并落地到业务中。
1. 参与个性化大模型算法设计、实现和优化，提升模型用户特征提取、行为挖掘及精准画像等核心能力； 2. 协同产品与工程团队，推动个性化大模型在手机业务中的创新应用，包括但不限于个性化问答、推荐系统、智能交互等场景； 3. 持续跟踪学术界与工业界在个性化大模型领域的最新进展，探索技术突破点并推动团队技术迭代，保持行业领先性。
1. 负责计算机视觉深度学习算法的开发与性能提升，负责VLM大模型的应用开发与工程化部署应用，涉及的主要问题包括但不限于视频智能分析中目标检测、行为识别等功能模块的开发、迭代与落地；表面缺陷检测算法的开发、优化与落地等； 2. 参与计算机视觉及人工智能领域的前沿技术探索，结合业务场景进行创新，推动新技术在业务场景的落地应用。
该岗位主要有三个方向： 方向一：用户体验设计 1、从功能特性和卖点打造维度出发，基于目标人群需求，深度洞察消费者，进行专题研究，发掘产品创新点与体验提升点； 2、从用户维度出发，识别典型用户的关键使用目的、使用场景及使用中的关键设备要求，从中提炼单一产品或跨产品的体验提升方向与功能开发方向，牵引相关业务领域以用户需求为中心，提升产品设计体验； 3、面向具体的场景，能够从视觉、听觉、触觉等感官通道出发，从人因角度进行体验需求分解，制定人因研究实验，并跟踪相关的度量、评价、价值总结等； 4、联合周边，充分利用公司内外部资源和手段(包括定性、定量、大数据、竞争数据、市场数据等) ，围绕核心商业问题,专业严谨地与产品团队一起制定和实施调研方案,保证各节点高质量输出。 方向二： 显示/影像效果体验设计 1、负责终端效果体验设计（拍照、录像、显示、ux等），通过用户调研、竞品分析、人因研究等系列方法，挖掘产品机会点，打造卖点特性，设计更优的多媒体解决方案，提升产品影像竞争力； 2、洞察目标市场影像审美流行趋势及业界最新发展方向，负责影像目标效果设计，牵引产品效果提升； 3、负责影像效果评价方案设计及算法实现，建立科学的影像质量评价体系，对产品的关键特性效果进行验收及竞争力分析，有效推动端到端影像效果改进。 方向三： 音频效果体验设计 1、负责终端音频效果体验设计（音乐外放、通话、录音录像等功能），通过用户研究、竞品分析等系列方法，挖掘音频机会点，打造卖点特性，引领音频设计创新； 2、负责音频效果调试策略设计及主客观评价方案设计，对接算法与硬件，从消费者体验角度出发，形成体验设计方案，持续跟进落地，不断提升音频体验； 3、负责用户行为数据、特性质量分析等音频大数据的分析与挖掘，从数据中挖掘用户痛点和价值点，转化为问题和需求，并从中分析改进方向，牵引体验改进提升。