OPPO多模态算法工程师
任职要求
1. 拥有计算机科学、人工智能、机器学习或相关领域的硕士或博士学位； 2. 扎实的编程基础，熟练掌握Python、C++等编程语言，有TensorFlow、PyTorch等深度学习框架的使用经验； 3. 对多模态学习、自然语言处理、计算机视觉等领域有深入理解，有相关项目经验者优先；…
工作职责
方向一： 1. 负责多模态大模型的基础能力提升，图文多模态模型的下游算法研究，图文多模态技术在AI搜索、图片结构化提取、图片内容理解等应用领域云侧和端侧的研究等 2. 跟进业界前沿技术，持续提升团队在图文多模态算法方面的技术积累。 方向二： 1. 负责多模态大模型压缩算法研发，探索并实现极低bit量化技术和稀疏化技术，保持推理精度的同时减少模型存储和计算资源消耗；多模态大模型编解码加速算法研发，降低端侧模型推理成本； 2. 参与端侧大模型技术体系建设，探索和实现高效大模型架构，开发和优化内部模型端侧化部署工具链，跟进大模型前沿技术发展趋势，探索相关算法的创新优化，发表高质量研究论文。 方向三： 1. 参与AI搜索，小布记忆等业务交付中的算法方案设计，模型训练等，持续提升算法能力，改善产品体验； 方向四： 1、 负责参与小布助手统一意图理解与任务编排的算法及数据工程优化 方向五： 1. 参与个性化大模型算法设计、实现和优化，提升模型用户特征提取、行为挖掘及精准画像等核心能力； 2. 协同产品与工程团队，推动个性化大模型在手机业务中的创新应用，持续探索技术突破点并推动团队技术迭代，保持行业领先性。
1.探索大规模/超大规模多模态视觉大模型，并进行极致系统优化，数据建设、指令微调、偏好对齐、模型优化； 2.探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成； 3.探索多模态推理模型（Reasoning）架构、提升多模态在学科、通用视觉任务上的思考和推理能力； 4..探索多模态视觉大模型后训练方法，探索指令微调、强化学习等后训练策略，提升模型的性能。
业务描述： 1、研发Omni基础模型 2、研发金融的预测模型 3、研发激活模型抽象能力、学习能力、知识与规律的自我探索能力的方式 4、研发跟投资的人思维模式对齐的模型回复方式 5、研发模型的长期记忆，逻辑库存储、推演新的逻辑进行规律发现和持续学习 岗位职责： 1、结合Omni架构将模型拓展为世界模型雏形，研发流式的Omni Real Time 交互模型 2、探索原生的多模态表征方法（Native Multimodal Representation） 3、探索多模态对齐（Audio-Language、Vision-Language、Video-Language）与跨模态表示学习 4、构建面向 Omni场景的多模态数据流水线和数据治理体系（文本、图像、音频、视频） 5、研究并实现多模态预训练、指令微调、对齐学习与RL 的各种PO训练策略 6、优化训练性能，提升训练效率与推理速度（包括KV缓存、量化、蒸馏等） 7、针对实际业务场景进行模型压缩、蒸馏、推理加速与端侧适配 8、提升在多模态问答、检索增强、多轮对话、Agent任务中的表现与鲁棒性 9、支持模型在多端产品落地（APP端、网页端、智能硬件等）
1、参与设计基于CV/NLP/多模态算法的内容理解识别方案；负责快手广告视频场景的内容识别与生态治理算法研究及应用； 2、探索风控与广告生态场景的大模型落地方案，应用于生态治理核心业务中； 3、深入理解业务本质，与产品运营配合，持续提升内容识别能力，综合使用多种手段，识别平台内不良内容，解决广告生态体验的问题。
1. 基于大模型的多模态内容理解技术研发与应用落地，涵盖文本、图像、音频、视频等多类型数据的融合处理； 2. 设计并优化多模态语义理解算法，包括但不限于跨模态检索、多模态内容生成、多模态情感分析、多模态语义匹配等； 3. 参与构建多模态内容理解系统，解决实际业务场景中的复杂问题，并应用于内容安全、生态治理、智能内容审核等核心业务中； 4. 跟踪国内外大模型与多模态技术前沿动态，将先进算法与技术转化为实际应用方案，推动技术创新与产品迭代。