OPPO多模态算法工程师
任职要求
1. 拥有计算机科学、人工智能、机器学习或相关领域的硕士或博士学位； 2. 扎实的编程基础，熟练掌握Python、C++等编程语言，有TensorFlow、PyTorch等深度学习框架的使用经验； 3. 对多模态学习、自然语言处理、计算机视觉等领域有深入理解，有相关项目经验者优先；…
工作职责
方向一： 1. 负责多模态大模型的基础能力提升，图文多模态模型的下游算法研究，图文多模态技术在AI搜索、图片结构化提取、图片内容理解等应用领域云侧和端侧的研究等 2. 跟进业界前沿技术，持续提升团队在图文多模态算法方面的技术积累。 方向二： 1. 负责多模态大模型压缩算法研发，探索并实现极低bit量化技术和稀疏化技术，保持推理精度的同时减少模型存储和计算资源消耗；多模态大模型编解码加速算法研发，降低端侧模型推理成本； 2. 参与端侧大模型技术体系建设，探索和实现高效大模型架构，开发和优化内部模型端侧化部署工具链，跟进大模型前沿技术发展趋势，探索相关算法的创新优化，发表高质量研究论文。 方向三： 1. 参与AI搜索，小布记忆等业务交付中的算法方案设计，模型训练等，持续提升算法能力，改善产品体验； 方向四： 1、 负责参与小布助手统一意图理解与任务编排的算法及数据工程优化 方向五： 1. 参与个性化大模型算法设计、实现和优化，提升模型用户特征提取、行为挖掘及精准画像等核心能力； 2. 协同产品与工程团队，推动个性化大模型在手机业务中的创新应用，持续探索技术突破点并推动团队技术迭代，保持行业领先性。
1.利用计算机视觉和人工智能技术，改进点评笔记、评价等多个点评创作产品的创作体验。 2.参与研发以计算机视觉和人工智能技术为核心的创新型内容玩法。 3.探索MLLM，LLM，VLM等相关算法前沿，应用于业务并解决实际业务问题。 4.负责对业务场景下相关技术问题进行分析、算法设计和上线，全面参与并推动各环节的高效运行，以实现持续的业务价值提升。 5.研究并开发智能Agent系统，优化用户与AI系统的交互体验。
1. 构建基于计算机视觉 + VLM/MLLM 的容器与商品语义理解体系，融合图像、点云与文本信息，提高复杂 SKU 识别与定位鲁棒性。 2. 设计检测/分割 + 3D 点云融合网络，实现多品混放场景的实例分割与 6D 抓取点预测。 3. 对 LLaVA、Qwen2-VL、InternVL2.5 等多模态大模型进行指令微调，支持机器人自然语言任务下达与动态规划。 4. 负责相机、雷达联合标定，多传感器融合（RGB-D + 点云 + 力矩传感器）。 5. 搭建自动标注与主动学习流水线，建设数据飞轮。 6. 关注行业最新多模态技术，快速验证并落地仓储场景。
1.负责垂直场景多模态大模型研发，包括图文、视频、音频等多个模态的预训练和SFT训练，探索合成数据在多模态训练上的应用； 2.负责大模型安全、内容治理、电商等多场景业务的内容理解，包括多模态表征、图文/视频意图理解、相同/相似判断、自动问答等； 3.负责跟踪和研究大模型前沿问题，并应用于解决实际的业务痛点。
1.负责垂直场景多模态大模型研发，包括图文、视频、音频等多个模态的预训练和SFT训练，探索合成数据在多模态训练上的应用； 2.负责大模型安全、内容治理、电商等多场景业务的内容理解，包括多模态表征、图文/视频意图理解、相同/相似判断、自动问答等； 3.负责跟踪和研究大模型前沿问题，并应用于解决实际的业务痛点。