通义研究型实习生- 多视角一致性3D高斯数字人生成技术

无

3D数字人的感知、重建与生成技术是多模态交互数字人、全息通讯、虚拟主播、情感陪伴等前沿应用的核心支撑。本项目旨在推动如下课题的技术攻关： 1、3D数字人感知研究： 聚焦于利用多模态视觉语言模型、视频生成等先进方法，从单张图像或视频中高效、精准地提取数字人的表情与人体参数，提升数字人感知系统的准确度与鲁棒性。 2、3D数字人重建与生成研究： 致力于结合文本、图像、视频等多模态数据与生成式大模型技术，推动从单图或多视角图像中重建并生成高质量3D数字人（如高斯泼溅、三维网格等）技术的发展，增强模型的写实性与表现力。同时探索实时多模态驱动与渲染技术，构建低延迟、高真实感的沉浸式交互体验，为多模态交互数字人、全息通讯、虚拟主播、情感陪伴等场景提供核心能力。

NeRF&3D GS是很有潜力的新兴3D重建技术，这几年获得非常大的关注，有非常多的进展，但是实时训练和渲染一直是难以克服的问题。本项目拟通过快速、泛化NeRF、3DGS等方法，基于多视角图像的输入，在秒级时间内完内物体、场景重建和新视角图像渲染。

专注于多模态通用运动表征技术的研究，具体职责包括： 1、构建一个多模态大模型框架，能够对现有多媒体素材中运动信息进行学习，输出在特定类目/物品在指定环境下运动规律的个性化表征； 2、基于上述运动表征，能够恢复、迁移到指定类目及场景下的运动效果，生成对应的视频素材； 3、模型能够拓展到通用物体场景，包含刚性/非刚性物体、被动/主动运动物体、相机视角变化/主体运动； 4、负责算法研发过程中的数据构建工作。