[发明专利]一种基于神经网络的双目立体视觉匹配方法及其运算框架

权利要求书

1.一种基于神经网络的双目立体视觉匹配方法，其特征在于，包括如下步骤：

步骤一：构建神经网络运算框架、构建二值神经网络并进行训练；

步骤二：将左图像和右图像输入二值神经网络进行图像特征提取，得到一串二值序列作为图像像素点的特征描述；

步骤三：二值神经网络通过匹配算法对左图像和右图像进行匹配。

2.根据权利要求1所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，在所述步骤一中，二值神经网络包括浮点卷积神经网络层、批规范化层、二值卷积神经网、二值化层和汉明距离相似度计算层；

批规范化层：用于对数据分布进行归一化调整，批规范化层用于将输入数据按照如下公式进行计算

其中，x代表本层的输入结果，μ代表批数据的均值，σ代表批数据的标准差，γ代表神经网络训练得到的缩放系数，β代表神经网络训练得到的偏置参数，BN代表经过二值化层之后的输出结果；

二值卷积神经网络：二值卷积神经网络层中的权值全部都为+1或者-1。

二值化层：用于将输入数据按照

其中，x代表本层的输入结果，S代表经过二值化层之后的输出结果；

汉明距离相似度计算层：使用汉明距离计算数据之间的相似度，相似度计算公式为：

其中，V_i¹为经由神经网络输出的代表图像特征的长度为n的二值向量V¹的第i个分量，V_i²为经由神经网络输出的代表图像特征的长度为n的二值向量V²的第i个分量。

3.根据权利要求2所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，在所述步骤一中，所述二值神经网络在训练过程的前向传播中，将浮点权值进行二值化，并使用二值化后的权值计算结果；在反向传播中，只更新浮点权值，更新之后的浮点权值用于下一次的前向传播过程；所述二值神经网络通过引入缩放系数，使得二值卷积核结果尽量的接近浮点卷积核结果，卷积核缩放系数α的计算公式如下：

其中，h为卷积核的高，w为卷积核的宽，c为卷积层的输入通道个数，W为一个输出通道对应的h×w×c个权值。

4.根据权利要求2所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，二值神经网络采用图片块进行训练，训练使用正负两对样本，并分别得到正负样本对通过二值神经网络得到的相似分数；使用铰链函数通过计算两个样本对之间的损失并将损失用于反向传播过程进行二值神经网络的训练，损失计算的公式如下：

△＝max(0，S2-S1+margin)

其中，△代表正负样本对之间产生的损失，S1为正样本的相似分数，S2为负样本的相似分数，margin为铰链函数的保险系数。

5.根据权利要求1所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，在所述步骤三中，包括以下步骤：

S1：视差代价值计算，对两个像素点的二值序列进行相似度计算，计算得到的相似性分数代表了两个像素为中心的图像块之间的相似性，作为两个像素点之间的匹配代价值；

S2：平滑性约束代价聚合，使用SGM算法对S1中得到匹配代价值施加平滑性约束；

S3：左图像和右图像匹配结果一致性检测；

S4：通过左右两张视差图对遮挡点的进行检测，并使用遮挡点附近的正确匹配点进行修补；

S5：对视差图进行高斯滤波处理；

S6：对经过高斯滤波处理的视差图使用双边滤波进行边缘加强；

S7：获得高精度视差图。

6.一种基于神经网络的双目立体视觉匹配方法的运算框架，其特征在于，在所述步骤一中，神经网络运算框架为模块式的神经网络运算框架，并通过通道打包的方式压缩数据，通过层流运算降低计算时间。