通义研究型实习生- 3D人的重建和实时驱动
任职要求
1、全日制博士/硕士研究生，计算机相关专业优先 2、有扎实的机器学习和深度学习理论基础…
工作职责
3D人是非常重要的3D资产，现有人工建模、文本生成、图像生成等多种方式获取，但是都不能完成图像级别的真实感，利用三维重建获得3D人的几何信息和颜色信息是获得高保真人属性的常用方法。过去的三维重建方法存在非常多的问题，主要是对毛发、眼睛、牙齿等关键区域建模质量较差，进而导致驱动效果也较差，失去复刻的真实感。近年来，基于NeRF的建模和渲染方案逐渐成熟，针对人的NeRF的重建保真度已经能够保证，但是实时驱动还是一个待解决的问题。本课题拟研究将3D人的重建和实时驱动、与2D的图像生成大模型结合，提高3D人重建和驱动的真实感的问题。
本项目聚焦于多模态交互数字人技术的前沿探索，旨在基于对话双方的多模态上下文（包括文本、语音、视频等），实现3D数字人表情与肢体动作的实时生成与动态驱动，显著提升数字人的拟人性、情感表达能力与临场感。研究成果将支撑虚拟主播、情感陪伴、沉浸式人机交互等创新应用场景。
岗位介绍 我们正在寻找充满热情、富有创造力的3D生成算法工程师，加入我们的前沿技术研发团队。您将专注于开发先进的3D生成算法，构建下一代三维地图渲染形态，并探索其在多领域的创新应用场景。 主要职责 1. 3D生成算法研发：负责3D物体与3D场景生成算法的开发与优化，探索高效的3D表示方式（如NeRF、3DGS等），并改进扩散或自回归生成模型，提升单图到3D物体或场景生成的精度与稳定性。 2. 3D Mesh驱动算法研发：研发基于自回归架构的3D Mesh自动绑骨与动作序列生成算法，实现通用的3D Mesh驱动。 3. 应用场景探索与落地：探索三维地图的创新应用，并且与上下游团队紧密合作，推动技术从研发到实际应用的转化。
岗位介绍 我们正在寻找充满热情、富有创造力的3D生成与重建算法工程师，加入我们的前沿技术研发团队。您将专注于开发先进的3D生成算法，构建下一代三维地图渲染形态，并探索其在多领域的创新应用场景。 主要职责 1. 3D生成算法研发：负责3D物体与3D场景生成算法的开发与优化，探索高效的3D表示方式（如NeRF、3DGS等），并改进扩散或自回归生成模型，提升单图到3D物体或场景生成的精度与稳定性。 2. 3D Mesh驱动算法研发：研发基于自回归架构的3D Mesh自动绑骨与动作序列生成算法，实现通用的3D Mesh驱动。 3. 应用场景探索与落地：探索三维地图的创新应用，推动技术从研发到实际应用的转化。
岗位职责 1. 定制化3D仿真场景与资产构建，实现多样化任务的3D场景的程序化生成。同时结合 3D Gaussian Splatting (3D-GS)等技术，优化场景的Real2Sim视觉质量； 2. 支持物体布局优化和材质、光照、相机的随机化建模等，提升仿真数据的多样性与真实性，系统性缩小 sim2real gap； 3. 协助搭建基于 NVIDIA Isaac Sim 的高保真、可扩展的机器人仿真平台，构建自动化评测流程，支持具身智能体的训练与评测；协助采集机器人操作轨迹，生成海量仿真数据，进行Benchmark和Sim2Real的实验； 4. 复现和集成前沿算法，投稿高质量会议论文。