[发明专利]一种基于神经网络的双目立体视觉匹配方法及其运算框架

说明书

本发明涉及一种基于神经网络的双目立体视觉匹配方法及其运算框架，匹配方法包括如下步骤，构建神经网络运算框架、构建二值神经网络并进行训练；初始化神经网络运算框架；步骤三：将左图像和右图像输入二值神经网络进行图像特征提取，得到一串二值序列作为图像像素点的特征描述；使用二值神经网络代理卷积神经网络用于图像的特征提取，并设计专门针对二值神经网络的神经网络训练方式和运算的运算框架，使得双目立体视觉的匹配不仅有更高的精度，同时有更快的运算速度。

技术领域

本发明涉及双目立体视觉匹配算法领域，更具体地，涉及一种基于神经网络的双目立体视觉匹配方法及其运算框架。

背景技术

双目立体视觉是一种使用仿生学原理设计的被动测距传感方法，它可以在捕捉到两张图片的同时，通过算法计算得到一张像素点级别的包含深度信息的图片，为计算机视觉的应用提供了更多的可能性。

双目立体视觉在场景重建、事件检测、视频跟踪、目标识别、姿态估计、运动估计等等领域应用越来越多。它以其成本低、结构简单、精度高等优点，广泛应用于工业生产非接触式测距、智能机器人导航、无人驾驶汽车、医学诊断、安防监控和无人机等，存在巨大的商业价值和军事价值。

在双目立体视觉匹配中，一般来说算法都分为4个步骤：1、匹配代价计算；2、代价聚合；3、视差计算；4、后处理。而目前的双目立体视觉匹配的方法也主要分为三种：局部匹配算法、全局匹配算法、半全局匹配算法。局部匹配算法包括采用匹配窗的代价聚合算法、采用特征点的匹配的算法、采用相位匹配的匹配算法等等。这些算法的优点是运算速度快，能够快速恢复出纹理丰富区域的视差。缺点是低纹理区域会造成误匹配，得到的视差图不致密，需要后期运用插值算法进行修正。全局匹配算法主要包括图割法、人工智能算法、置信传播法等等。这些算法运算时间长并会产生一些误匹配，但基本能从所有的视差信息中获得稠密的视察图。半全局匹配算法是介于局部匹配算法和全局匹配算法之间的一种算法，半全局匹配算法既没有只考虑像素的局部区域，也没有将全部像素都纳入考虑，是一种均衡速度与精度的方法。

发明内容

本发明为克服上述现有技术中双目立体视觉的匹配算法无法实现快速高精度匹配的问题，提供一种基于神经网络的双目立体视觉匹配方法及其运算框架，采用二值神经网络进行匹配计算，并对用于运算的神经网络框架进行优化设计，实现双目立体视觉匹配的高精度以及快速运算。

为解决上述技术问题，本发明采用的技术方案是：提供一种基于神经网络的双目立体视觉匹配方法，包括如下步骤：

步骤一：构建神经网络运算框架、构建二值神经网络并进行训练；

步骤二：将左图像和右图像输入二值神经网络进行图像特征提取，得到一串二值序列作为图像像素点的特征描述；

步骤三：二值神经网络通过匹配算法对左图像和右图像进行匹配。

二值神经网络通过将传统神经网络中的大量浮点权值数据使用二值数据(+1，-1)替换，将神经网络的中的乘法运算替换为二值数据的逻辑运算，由于二值数据可以被映射到计算机中的(1，0)，所以二值运算是一种非常符合计算机硬件结构的运算方式。二值神经网络可以在减少32倍的数据量读写的同时，获得6倍的计算速度的提升。因此，二值神经网络通过提取高维度非线性特征代替传统匹配算法中的低维度特征进行匹配，在精度上取得了明显提升的情况下，运算速度依然保持快速。

优选的，在所述步骤一中，二值神经网络包括浮点卷积神经网络层、批规范化层、二值卷积神经网、二值化层和汉明距离相似度计算层；

批规范化层：用于对数据分布进行归一化调整，批规范化层用于将输入数据按照如下公式进行计算

其中，x代表本层的输入结果，μ代表批数据的均值，σ代表批数据的标准差，γ代表神经网络训练得到的缩放系数，β代表神经网络训练得到的偏置参数。BN代表经过二值化层之后的输出结果；