[发明专利]一种基于区域深度边缘检测和双目立体匹配的三维重建方法

说明书

技术领域

本发明属于双目立体视觉技术领域，涉及到基于立体匹配处理实拍图像的问题，尤其涉及到将边缘检测技术引入立体匹配，并基于深度边缘构造像素的支持窗口，通过置信度传播最优化算法获取像素的匹配关系并重建目标物三维点云模型的方法。

背景技术

基于立体匹配的双目视觉技术是目前三维重建领域中的研究热点，其通过匹配同一目标物从不同角度拍摄的两幅图像，以恢复目标的三维信息。其优势主要在于对硬件配置要求低，安装方便快速，属于对目标物无任何影响的非接触式三维重建。并且，通过2.5D立体视差图，双目重建获取的目标物三维点云模型是精确多目建模(Multi-view Modeling)和构面(Surface Meshing)算法的重要基础。双目立体重建系统一般由三个主要部分构成：摄像机标定、立体匹配、三维点云重构。首先通过左右两个摄像机获取同一目标物的两幅图像，接着基于立体匹配算法计算目标点在两幅图像中的视差，最后基于摄像机标定信息和视差值重建目标物的三维点云。立体匹配是双目系统中最重要的步骤，也是图像处理中的经典问题。

一般情况下，双目立体重建算法针对人脸等特定目标，利用特定目标本身的特征进行立体匹配。这些匹配算法包含有一些特殊的匹配策略或人工步骤，影响了立体重建的鲁棒性和自动化程度；如果对象改变，可能会对算法的效能产生负面影响。重建精度方面，由于双目系统的主要应用采取立体匹配算法，所以导致系统非常依赖像素的可靠视差。立体匹配的三个主要问题是：I)区域遮挡II)低纹理III)不平衡的光照。然而，对于双目系统拍摄的实际图像，这些问题可能更具有挑战性。双目重建中的立体匹配作为被动式的方法，单纯基于目标的两幅图像，没有借助结构光等辅助信息，重建系统受拍摄环境和目标本身的影响较大。实际的环境很难满足静止的光照和平衡的颜色，导致相同场景在双目摄像机拍摄的左右两幅图像中容易形成不同的颜色信息，以及不稳定的阴影和反光区域。并且，实际目标物不规则的形状变化通过摄像机的拍照角度容易造成分布复杂的遮挡区域和大范围的可能视差，进一步增加了匹配的难度。最终这些立体匹配中的问题导致双目系统重建的目标物三维点云的质量不高。

发明内容

技术问题：本发明的目的是提供一种基于区域深度边缘检测和双目立体匹配的三维重建方法，将基于区域深度边缘检测的窗口构造、归一化互相关系数和具备加速更新制度的置信度传播最优化方法良好结合的立体匹配算法，并且应用于双目视觉系统，可以快速准确地重建目标物的三维模型。

技术方案：首先进行摄像机标定，然后从不同角度拍摄目标物的两幅图像，根据标定数据进行极线校正和图像变换，然后在每个像素的固定邻域内利用二阶微分边缘检测算子搜索并构建一条虚拟的封闭深度边缘，形成相应的支持窗口；然后使用支持窗口内的支持像素通过归一化互相关系数计算中心像素之间的匹配代价，并作为全局能量最优化方程的数据项，接着利用置信度传播最优化算法获取视差。之后引入一种基于亚像素估计的视差精确算法修复一些不连续的量化视差值；最后，根据双目摄像机的标定信息和像素视差结果重建目标物的三维点云，获取目标的三维信息。

该三维重建方法依次含有下列步骤：

步骤1)摄像机标定：使用两台水平放置的双目摄像机拍摄贴有标记点的标定板，首先调整双目摄像机的位置使其光轴近似平行，然后从左右两个角度同时拍摄标定板，接着根据标定板图像，分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]；

步骤2)目标物图像获取：保持摄像机的拍摄角度不变，拍摄目标物的两幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；

步骤3)极线校正及图像变换：基于步骤1)中标定过程得到的摄像机内外参数矩阵，运用极线校正方法分别旋转两幅目标物图像，形成平行的极线，然后根据校正后的极线将目标物的原始图像转换成待匹配图像，使两幅待匹配图像中对应的匹配像素具有相同的纵坐标；

步骤4)基于区域深度边缘检测构造支持窗口：将待匹配图像中每一个像素p的支持窗口的封闭边界看成一类深度跃变像素的集合，利用二阶微分边缘检测算子从像素p开始，向四周搜寻深度跃变像素作为支持窗口的边界点，连接这些边界点，形成一条虚拟的封闭边缘作为窗口的边界，形成像素p的支持窗口W_p；同理，另一幅待匹配图像中每一个像素q的支持窗口W_q可以按同样的方法构造；