[发明专利]一种基于卷积神经网络的非端到端立体匹配方法

权利要求书

1.一种基于卷积神经网络的非端到端立体匹配方法，其特征在于，包括如下步骤：

S1：利用计算机从KITTI数据集平台中获得标准的图像对，图像对采用的左右图像尺寸均为1242pixel×375pixel；

S2：设计卷积神经网络架构，其包括8个卷积层；每个卷积层后面跟着一个激活函数，前7层采用ReLU函数作为激活函数，最后一层使用sigmoid激活函数实现拟合，前5个激活函数层之后均有池化层，在每层后面都引入了归一化层，最后经过点积层得到的相似性度量；

S3：将从KITTI数据集平台中获取的标准数据集输入到步骤S2所设计的卷积神经网络架构中；

S4：首先对输入到卷积神经网络架构中的立体图像对进行卷积操作；

S5：经过步骤S4的卷积操作之后，利用ReLU激活函数解决梯度消失问题；

S6：然后对卷积之后得到的结果进行池化操作，具体为：选择平均池化操作，可以提取得到更多的上下文信息；

S7：对步骤S6得到的结果进行归一化操作；

S8：利用点积层进行点积运算将相似性得分转换成匹配代价；

S9：通过使用传统立体匹配算法的处理步骤，来改善视差图的质量，具体为：采用胜者为王的方法计算视差，就是目标像素在一个区域内寻找匹配代价最小的像素点对应的视差值；

S10：然后利用左右一致性检测解决立体匹配中图像对存在的遮挡问题；

S11：使用亚像素增强算法来对视差图进行校正；

S12：利用双边滤波对亚像素级视差图进行优化；

S13：再利用中值滤波对视差图处理。

2.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法，其特征在于：所述步骤S4具体为：利用公式如下所示：

其中，H表示输入图像的高，W表示输入图像的宽，卷积层l的输入张量为卷积核的大小为(i^l+1,j^l+1)表示进行卷积运算的位置，f_i,j表示学习的权重。

3.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法，其特征在于：所述步骤S5具体为：利用公式如下所示：

x表示经过卷积层之后的输出，作用是将卷积层之后的输出压缩到特定的边界内。

4.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法，其特征在于：所述步骤S7中归一化操作包括如下步骤：

第1步，计算m个样本的平均值，如下公式所示，

其中μ_B表示为平均值，x_i表示第i个样本；

第2步，计算m个样本的方差，如下公式所示，

其中方差记为σ_B，归一化后的样本记为B{x_1...m}；

第3步，用样本减去均值，然后再除以方差进行归一化，如下公式所示，

其中ε是为了避免除数为0时所使用的微小正数；

第4步，对归一化后的数据进行线性平移和映射来增强模型的表达能力,如下公式所示：

其中γ、β是网络层需要根据梯度反向传播学习得到的参数。

5.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法，其特征在于：所述步骤S8具体为：利用公式如下所示：

C_CNN(p,d)＝-s(＜p^L(p),P^R(p-d)＞)

式中，d表示为视差，p^L(p)和P^R(p-d)分别表示左图像上的点p和右图像上对应的点p的位置，s(＜p^L(p),P^R(p-d)＞)表示将网络结构输出的相似性得分，然后利用点积运算转换为匹配代价，C_CNN(p,d)表示匹配成本。