[发明专利]一种基于置信度融合的双目视差图增强方法

说明书

本发明公开一种基于置信度融合的双目视差图增强方法，包括以下步骤：S1、将图片置于双目相机中心的正前方，利用双目相机对目标进行拍摄，得出双目图左图a和右图b；S2、分别对左图a和右图b进行立体图畸变校正，得出立体图校正后的左图a1和右图b1；S3、采用基于卷积神经网络算法对左图a1和右图b1进行视差估计，得出密集视差图a2；对密集视差图a2进行视差图优化处理，得出优化后的视差图I_c；S4、采用改进的光流估计算法对立体图校正后的左图a1和右图b1进行视差估计，得出视差图I_O；S5、根据置信水平的高低，对所得的视差图I_O和视差图I_c进行融合，得到最终的视差图I(u)。

【技术领域】

本发明属于图像处理中的立体匹配技术领域，尤其涉及一种基于置信度融合的双目视差图增强方法。

【背景技术】

双目立体视觉是机器视觉的重要形式，通过视差原理并结合两幅图像获取物体的三维信息。而立体匹配是由二维图像信息获得三维物体信息的主要技术手段，指在空间景物上，任意一点在两个或者两个以上的相机上的投影点，把这些点称为对应点，求取左右像平面之间对应点。而求取立体对应点的过程称为视差的估计过程，因此视差估计是深度估计的重要基础。

传统的视差估计方法在处理低纹理和深度不连续的区域，一般使用大窗口来解决，这样将会导致模糊重要特征，不能一致的匹配纹理不良和模糊的表面，造成了视差值存在由噪声产生的误差。

【发明内容】

本发明的目的是提供一种基于置信度融合的双目视差图增强方法，以解决现有技术无法提高低纹理区域以及深度不连续区域中的视差值准确度，无法生成高质量视差图的问题。

本发明采用以下技术方案：一种基于置信度融合的双目视差图增强方法，包括以下步骤：

S1、将图片置于双目相机中心的正前方，利用双目相机对目标进行拍摄，得出双目图左图a和右图b；其中，相机坐标系是以相机中心为原点，x指向相机右方，y指向相机上方，z指向相机前方；

S2、分别对左图a和右图b进行立体图畸变校正，得出立体图校正后的左图 a1和右图b1；

S3、采用基于卷积神经网络算法对左图a1和右图b1进行视差估计，得出密集视差图a2；

对密集视差图a2进行视差图优化处理，得出优化后的视差图I_c；

S4、采用改进的光流估计算法对立体图校正后的左图a1和右图b1进行视差估计，得出视差图I_O；

S5、根据置信水平的高低，对所得的视差图I_O和视差图I_c进行融合，得到最终的视差图I(u)。

进一步的，步骤S2的具体采用方法为：将左图a和右图b共面；将左图a 和右图b的图像行对准；对左图a和右图b进行校正，获得立体校正的输出矩阵，即得到矫正后的图像左图a1和右图b1。

进一步的，步骤S3的具体方法为：

步骤3.1、利用卷积神经网络对左图a1和右图b1进行权重分配，每层神经网络均通过均一化处理和ReLU函数；左图a1和右图b1经过卷积神经网络之后得到的特征图送入一个相关层计算成本代价，经代价聚合以及视差预测的三个基本过程后，获得初始视差图；

步骤3.2、对生成的初始视差图进行左右校验，更新网络权重，更新规则根据梯度下降法进行更新；

步骤3.3、重复步骤3.1和步骤3.2，更新网络权重后，继续对初始视差图进行预测，然后校验出置信度高的像素继续进行用于训练；

步骤3.4、训练完成后，对预测出的视差图经过中值滤波器进行平滑处理，得出密集视差图a2；