通义研究型实习生-3D人的多模态驱动模型
任职要求
1. 博士/硕士研究生在读，计算机、数学等相关专业优先。
2. 有扎实的3D视觉、多模态大模型理论基础，对3D交互数字人、3D对话数字人等相关技术研究感兴趣。
3. 在计算机图形相关顶会或期刊发表论文、在高水平技术评测或竞赛中获得Top成绩、在开源组织有贡献或影响力者优先。
4. 要求产出1-2篇视觉顶会论文，并研发可在项目中集成的代码模块。工作职责
3D数字人技术作为一项前沿科技，在娱乐、教育、医疗等多个领域展现出巨大的应用潜力。近年来，视觉语言大模型的突破性进展，为3D数字人的多模态交互提供了新的契机。我们希望研发新的模型、算法，利用多模态基础模型的跨模态信息处理能力，提升了3D数字人和用户交互的真实感和沉浸感，从简单的命令响应式交互向情感计算、意图理解等高级功能转变。
随着大语言模型的快速发展，3D虚拟数字人实现自然对话与情感陪伴已成为可能。本项目致力于探索端到端的语音与数字人表情动作同步生成方法，旨在提升3D数字人的交互表现力与响应效率，增强其在对话过程中的真实感和自然度，推动3D数字人在多模态交互场景下的广泛应用。
3D人是非常重要的3D资产，现有人工建模、文本生成、图像生成等多种方式获取，但是都不能完成图像级别的真实感，利用三维重建获得3D人的几何信息和颜色信息是获得高保真人属性的常用方法。过去的三维重建方法存在非常多的问题，主要是对毛发、眼睛、牙齿等关键区域建模质量较差，进而导致驱动效果也较差，失去复刻的真实感。近年来，基于NeRF的建模和渲染方案逐渐成熟，针对人的NeRF的重建保真度已经能够保证，但是实时驱动还是一个待解决的问题。本课题拟研究将3D人的重建和实时驱动、与2D的图像生成大模型结合，提高3D人重建和驱动的真实感的问题。
岗位介绍 我们正在寻找充满热情、富有创造力的3D生成算法工程师，加入我们的前沿技术研发团队。您将专注于开发先进的3D生成算法，构建下一代三维地图渲染形态，并探索其在多领域的创新应用场景。 主要职责 1. 3D生成算法研发：负责3D物体与3D场景生成算法的开发与优化，探索高效的3D表示方式（如NeRF、3DGS等），并改进扩散或自回归生成模型，提升单图到3D物体或场景生成的精度与稳定性。 2. 3D Mesh驱动算法研发：研发基于自回归架构的3D Mesh自动绑骨与动作序列生成算法，实现通用的3D Mesh驱动。 3. 应用场景探索与落地：探索三维地图的创新应用，并且与上下游团队紧密合作，推动技术从研发到实际应用的转化。
岗位介绍 我们正在寻找充满热情、富有创造力的3D生成与重建算法工程师，加入我们的前沿技术研发团队。您将专注于开发先进的3D生成算法，构建下一代三维地图渲染形态，并探索其在多领域的创新应用场景。 主要职责 1. 3D生成算法研发：负责3D物体与3D场景生成算法的开发与优化，探索高效的3D表示方式（如NeRF、3DGS等），并改进扩散或自回归生成模型，提升单图到3D物体或场景生成的精度与稳定性。 2. 3D Mesh驱动算法研发：研发基于自回归架构的3D Mesh自动绑骨与动作序列生成算法，实现通用的3D Mesh驱动。 3. 应用场景探索与落地：探索三维地图的创新应用，推动技术从研发到实际应用的转化。