通义研究型实习生-多模态交互3D数字人的感知、重建及生成技术

本项目将探索基于单张图像或稀疏视角图像构建高保真，可交互的3D高斯（3D Gaussian Splatting）数字人，支持大角度相机视角切换与大幅度身体姿态变化，保持几何一致性与渲染稳定性。所生成的3D高斯数字人支持多模态实时驱动，实现自然流畅的面部表情和肢体驱动，打造低延迟、高真实感的沉浸式交互体验，为虚拟主播、远程会议、教育陪练、情感陪伴等高价值应用场景提供技术支撑。

本项目聚焦于多模态交互数字人技术的前沿探索，旨在基于对话双方的多模态上下文（包括文本、语音、视频等），实现3D数字人表情与肢体动作的实时生成与动态驱动，显著提升数字人的拟人性、情感表达能力与临场感。研究成果将支撑虚拟主播、情感陪伴、沉浸式人机交互等创新应用场景。

随着大语言模型的快速发展，3D虚拟数字人实现自然对话与情感陪伴已成为可能。本项目致力于探索端到端的语音与数字人表情动作同步生成方法，旨在提升3D数字人的交互表现力与响应效率，增强其在对话过程中的真实感和自然度，推动3D数字人在多模态交互场景下的广泛应用。

3D数字人技术作为一项前沿科技，在娱乐、教育、医疗等多个领域展现出巨大的应用潜力。近年来，视觉语言大模型的突破性进展，为3D数字人的多模态交互提供了新的契机。我们希望研发新的模型、算法，利用多模态基础模型的跨模态信息处理能力，提升了3D数字人和用户交互的真实感和沉浸感，从简单的命令响应式交互向情感计算、意图理解等高级功能转变。