OPPO高级CV算法工程师（语义）

1. 参与手机场景下图像理解相关需求的算法开发，包括但不限于场景识别、语义分割、美学评价等 2. 参与图像理解算法相关的数据预处理、模型训练与调优、推理加速等任务；撰写技术文档，协助算法部署与效果验证 3. 探索多模态大模型在手机图像理解场景的应用，如开放世界识别、细粒度分类，复现前沿论文并结合业务场景改进算法的推理速度与精度

1、针对具体任务场景（如语音识别、机器翻译、图像理解、文本生成等），开展深度学习模型的算法设计与创新，探索新型神经网络架构（如Transformer、MoE、扩散模型等），提升模型在复杂环境下的准确性、鲁棒性与泛化能力。负责端到端建模优化，结合上下文理解、对话状态追踪或多模态融合技术，增强系统在连续交互场景中的语义理解与响应能力。构建高质量训练数据体系，设计自动化语料清洗、标注与增强方案，覆盖多语言、多方言、噪声或小样本等挑战性场景，支撑模型持续迭代。 2、参与大规模预训练模型（LLM、VL模型等）的研发与微调，包括指令微调、对齐优化、提示工程及推理加速，提升模型在下游任务中的表现。探索大模型在跨模态理解（图文、音视频）、实时生成、知识推理等场景的应用路径，推动AIGC、智能摘要、自动字幕、翻译等业务的技术升级。研发高效微调技术（LoRA、Adapter等）与模型服务架构，实现大模型在资源受限环境下的灵活部署。 3、推动模型轻量化与推理加速，应用模型压缩、量化、蒸馏、剪枝等技术，提升模型在移动端、边缘设备或云端的运行效率。协同工程团队完成算法模块的高性能集成，优化分布式训练与推理框架，保障系统低时延、高并发与稳定性。支持多平台部署（移动端、PC端、Web端、云服务），参与全链路性能调优与监控体系建设。 4、跟踪人工智能领域最新研究进展（CV/NLP/ASR/TTS/MT等），结合业务需求进行技术预研与原型验证。与产品、数据、工程团队紧密协作，深入理解用户场景，推动AI能力在实际产品中的创新应用。

1. 多模态大模型研发与落地： - 负责工业视觉质检领域多模态大模型的构建、训练与优化，解决传统CV模型在复杂背景、小样本、零样本缺陷的识别率低的问题。 - 研究并应用多模态融合技术（如图像+文本描述、图像+参数），提升模型对工业缺陷的语义理解与泛化性能，同时实现工业缺陷的自然语言描述生成和智能问答。 - 搭建面向大模型的质检数据生产与清洗的pipeline，包括高质量图文对齐数据的构建、合成数据生成等，并设计模型效果评估体系，驱动算法的持续迭代与优化。 - 针对工业场景的实时性与高精度要求，负责大模型的轻量化部署与推理加速（如量化、剪枝、蒸馏）。 2. 质检Agent智能体构建： - 负责设计并主导研发面向工业视觉质检场景的智能Agent，具备多模态理解能力，能够融合图像、文本（如工艺标准SOP）、传感数据等信息，实现对缺陷的自动化判定、描述、归因及溯源。 - 构建面向质检场景的Agent工作流（Workflow），包括任务规划（模型自动择优等）、节点调用（训练任务的全流程、工具搭建业务流等等）、结果反馈。 - 负责构建并维护质检领域的专业知识库（RAG），结合向量数据库技术，提升Agent在特定缺陷场景下的准确性和可解释性。 3. 大模型微调与优化： - 针对工业质检的小样本、长尾分布问题，设计并实施高效的大模型微调策略（如LoRA、P-Tuning等），提升模型在特定质检任务上的识别检出能力。 - 持续跟进多模态大模型、AIGC、Agent等领域的最新前沿技术进展，并引领团队进行技术预研和创新，探索其在工业缺陷检测中的应用潜力。

1.三维视觉算法开发：基于多视角图像实现稠密场景重建（Mesh/Point Cloud/NeRF）开发动态场景SLAM 系统，支持地图实时更新与闭环检测，构建语义场景理解模块，实现物体级三维语义分割； 2.多模态模型优化：设计视觉-激光雷达跨模态融合策略 ，提升障碍物检测召回率，实现视频理解模型轻量化（模型压缩至200MB以内），探索RLHF在感知决策中的应用（如交互式场景探索）； 3.工程化落地：开发CUDA加速的 实时三维渲染管线 （FPS≥30），部署多模态模型至Jetson Orin 边缘计算平台，构建自动化标定工具链（支持相机-雷达-IMU联合标定）。