商汤多模态理解生成见习算法研究员

工作职责1.多模态理解与生成算法研究： 紧跟领域前沿，深入研究多模态（图像、文本、视频）的理解与生成统一的核心算法。 2.模型设计与优化： 负责多模态理解与生成模型的设计、训练、评估和优化，不断提升模型性能和泛化能力。 3.创新技术探索： 探索新的预训练和后训练范式，发现和解决大模型靠单一模态难以解决的问题。 ：

多模态理解与生成能力是大模型实现通用人工智能的核心基石之一，涵盖了跨视觉、语言等多种模态的信息处理与创造。本课题致力于探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成，从而构建具备更强泛化能力和创造性的通用人工智能大模型。 研究内容: 1）视觉表征研究：不同规模和训练范式的视觉基座预训练，模型结构探索和选型，开发更适合于多模态大模型的视觉基座。 2）理解生成统一：面向不同的多模态架构和训练范式，从视觉基座的角度深入探索视觉连续表征和离散表征的联系和区别，探索更具通用性的多模态特征。 3）视频多模态能力提升：探索短视频、长视频、视频流等不同形态的视频多模态方案，探究图像、视频统一的多模态解决方案。 4）高效和轻量化模型构建：探索适合轻量化多模态任务的模型架构，通过参数共享、模块化设计等手段，在不显著降低性能的前提下减少模型参数量和计算复杂度。

1. 多模态理解与生成算法研究： 紧跟领域前沿，深入研究多模态（图像、文本、视频）的理解与生成统一的核心算法； 2. 模型设计与优化： 负责多模态理解与生成模型的设计、训练、评估和优化，不断提升模型性能和泛化能力； 3. 创新技术探索： 探索新的预训练和后训练范式，发现和解决大模型靠单一模态难以解决的问题。

1.从事多模态生成/理解大模型的研究与开发，包括但不局限多模态生成预训练、多模态理解、多模态数据处理、多模态后训练、多模态强化学习等跨模态算法的研发和优化，跟进并保持业界技术领先； 2.推进跨模态内容理解/生成前沿技术的创新落地。设计和优化现有算法，提高性能和准确性，确保高质量的用户体验； 3.关注多模态/NLP/CV等方向的前沿技术，及时将新技术应用到产品中。