[发明专利]基于三阶球面谐波的动态场景高精度实时三维重建方法及系统

说明书

本发明公开了一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统，其中，方法包括：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据匹配点联合能量函数，对能量函数进行求解，以根据求解结果将重建模型的几何和表面反射率分别与三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过彩色图像自适应地补全和更新场景表面的反射率信息。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统。

背景技术

动态场景三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态场景三维模型在影视娱乐、物体三维数据统计分析等领域有着广泛的应用前景和重要的应用价值。

然而，相关技术中，高质量三维场景模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求场景保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中。第三，速度慢，重建一个中规模三维模型需要很长的时间。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于三阶球面谐波的动态场景高精度实时三维重建方法，该方法求解准确鲁棒，简单易行，运行速度快，适用性广。

本发明的另一个目的在于提出一种基于三阶球面谐波的动态场景高精度实时三维重建系统。

为达到上述目的，本发明一方面实施例提出了一种基于三阶球面谐波的动态场景高精度实时三维重建系统，包括以下步骤：通过RGBD相机对动态场景进行拍摄，以得到深度和彩色图像序列；将单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据所述匹配点对和当前视角建立基于三阶球面谐波光照模型的联合能量函数，并交替求解所述重建模型上每一个顶点的非刚性运动位置变换参数和场景低频光照信息；对所述能量函数进行求解，以根据求解结果将所述重建模型的几何和表面反射率分别与所述三维点云和彩色图像序列进行对齐；通过深度图自适应性地更新和补全对其后的三维模型，并通过所述彩色图像自适应地补全和更新场景表面的反射率信息。

本发明实施例的基于三阶球面谐波的动态场景高精度实时三维方法，通过RGBD相机对场景进行拍摄，从而获得深度图像和彩色图像作为系统输入信息，并基于该输入信息完成对动态场景进行实时三维重建的功能。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。

另外，根据本发明上述实施例的基于三阶球面谐波的动态场景高精度实时三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述能量函数为：

其中，E_total为运动求解总能量项，为当前时刻待求解非刚性运动参数，为当前时刻待求解场景光照；E_depth为深度数据项；E_shading为光照项；E_mreg为局部刚性运动约束项；E_lerg为场景光照求解正则项；λ_depth、λ_shading、λ_mreg和λ_lreg分别为对应各个能量项的权重系数。

进一步地，在本发明的一个实施例中，所述深度图像的投影公式为：