姚遥副教授团队在动态场景三维重建及实时四维渲染取得新突破

动态三维重建及渲染是目前三维视觉领域的研究热点,在虚拟现实(VR)、增强现实(AR)、影视制作以及游戏开发等多个领域展现出广泛的应用前景。针对这一课题,南京大学智能科学与技术学院姚遥老师团队提出了Gaussian-Flow,实现了从采集的视频数据中还原出真实世界的结构以及运动变化。该方法提出了一种结合了时域和频域的三维高斯粒子运动模型,用于对复杂动态场景的精确建模。该方法的一个显著优势是其超低的计算需求,使得单个粒子的运动计算可以在极短的时间内完成,从而达到快速且高效的实时四维渲染和重建。该方法相较于先前基于神经辐射场的体渲染方法,突破性的将四维渲染的时间从2秒每帧大幅缩短至0.008秒,同时保持了重建结果的高质量。相关工作已被2024年国际模式识别与计算机视觉大会(CVPR 2024) 接受发表,并被遴选为大会亮点工作(Highlight,接受率2.8%)。

Gaussian-Flow动态三维场景可微渲染优化示意图


论文链接:

https://arxiv.org/abs/2312.03431

上一篇:下一篇: