[发明专利]一种基于卷积神经网络的立体图像匹配方法

权利要求书

1.一种基于卷积神经网络的立体图像匹配方法，其特征在于，包括：

S1、获取多个立体匹配图像对和所对应的真实视差，将其作为数据集；

S2、构建卷积神经网络，选用线性纠正单元RELU函数进行激活；

S3、采用反向传播算法训练所述卷积神经网络，确定网络误差函数和学习速率；

S4、经过所述卷积神经网络的计算，网络输出的是左右图像块的匹配代价空间图；

S5、对所述代价空间图进行匹配代价聚合、视差选择和视差精化，选择具有最小代价的像素点作为匹配点，得到最终的视差图。

2.如权利要求1所述的一种基于卷积神经网络的立体图像匹配方法，其特征在于，所述S1步骤中数据集一部分来源于左图像，一部分来源于右图像：

表示以p(x,y)为中心，n×n的邻域；根据所述图像中每一个位置，获取所述每一个位置所对应的真实视差d，选出一个正样本，一个负样本；

所述S1步骤包括：

S11、将右图像邻域中心作改变，即得到负样本，令q坐标改为：

q＝(x-d+o_neg,y) (1)

式中，o_neg为随机值；

设定正样本q＝(x-d+o_pos,y) (2)

式中，o_pos为0.5；

S12、将原图像块分成匹配正确的图像块和匹配错误的图像块后，需要对所有图像块作归一化操作；

S13、对已有的图像块作投影变换和亮度变化，得到第一图像块，将所述第一图像块加入原有的训练数据中构成最终的训练数据集。

3.如权利要求1所述的一种基于卷积神经网络的立体图像匹配方法，其特征在于，所述卷积神经网络结构包括：将两个输入图像块得到的特征向量归一化并作向量的点乘运算，得到输出的相似程度；

网络的输出用于初始化匹配代价，其表达式为：

C_CNN(p,d)＝-s(＜P^L(p),P^R(pd)＞) (3)

式中，s(＜P^L(p),P^R(pd)＞)表示网络以P^L(p)，P^R(pd)为输入所获得的输出，负号将相似性得分转变为了匹配代价。

4.如权利要求1所述的一种基于卷积神经网络的立体图像匹配方法，其特征在于，所述S3步骤中确定网络误差函数，包括：

构造Hinge损失函数：

H＝max(0,M+S_{_}-S₊) (4)

式中，M是一个正实数，输入是匹配正确的图像块时输出的相似程度为S₊，输入是匹配错误的图像块时输出的相似程度为S_{_}；误差函数H＝0时，说明S₊＞S_{_}+M，匹配正确的图像块的相似程度大于匹配错误的图像块。

5.如权利要求4所述的一种基于卷积神经网络的立体图像匹配方法，其特征在于，所述S3步骤确定训练方法以及学习速率和训练终止条件，包括：

采用梯度下降法调整权值，一组匹配正确的图像块和一组匹配错误的图像块同时输入，计算出相似程度S₊和S_{_}之后输入到所述误差函数(4)；

以误差函数的输出H反向传播对权值求梯度，采用梯度下降法调整每一层的权值，调整的原理为：

式中，W₀是原来的权值参数，H是误差函数输出；

表示本次误差对权值参数的导数，L是学习速率，L越大参数变化越快。