[发明专利]一种基于卷积神经网络的立体图像匹配方法

说明书

本发明涉及一种基于卷积神经网络的立体图像匹配方法,包括：获取多个立体匹配图像对和所对应的真实视差，将其作为数据集；构建卷积神经网络，选用线性纠正单元RELU函数进行激活；采用反向传播算法训练所述卷积神经网络，确定网络误差函数和学习速率；经过所述卷积神经网络的计算，网络输出的是左右图像块的匹配代价空间图；对所述代价空间图进行匹配代价聚合、视差选择和视差精化，选择具有最小代价的像素点作为匹配点，得到最终的视差图。图像可以直接作为网络输入，通过卷积神经网络匹配算法得到视差图整体较光滑，在无纹理区域和深度值突变区域均能取得较好的匹配效果，对有光照变化和非完全校正的图像对仍具有较好的鲁棒性。

技术领域

本发明涉及三维视频技术领域，特别涉及一种基于卷积神经网络的立体图像匹配方法。

背景技术

现如今立体匹配技术在机器人导航、景深渲染和视频处理等问题中有广泛应用。立体匹配技术中的双目立体匹配一般从不同角度获取同一景物的两幅图像，并计算视差信息，然后通过三角测量原理根据视差来获取物体的三维深度信息。

对于人眼来说，从场景中恢复三维信息是一件很容易的事，但对于计算机而言，在双目图像对中寻找同一场景点的匹配对应点是极其困难的，立体视觉技术仍然很不完善，其主要困难体现在以下方面：

首先，在立体匹配问题中，大多数方法都隐含地假设场景物体由朗伯(Lambertian)表面构成，从而可利用亮度不变性约束(即不同视点位置观察到的同一场景点亮度相似)作为匹配准则建立左右图像的一致性关系。然而，该假设在实际场景中并不完全成立，特别是在镜面反射、折射及投射条件下，像点的颜色和位置将随视点的变化而改变。另外，由于相机参数的不一致及图像获取过程中会引入噪声，也会导致对应点的色彩亮度不一致。尽管如此，亮度一致性约束仍然是解决立体匹配问题的一个最有效假设，几乎所有方法都是基于此设计的。

其次，当场景中存在无纹理区域或重复模式时，容易产生误匹配。区分度不高，会产生大量可能的候选匹配点，从而造成误匹配。如何准确地对这些区域进行匹配，是同行业从业人员亟待解决的一个重要问题。

最后，立体视觉中通常存在遮挡现象。遮挡现象是指场景中的某些点在一幅图像中可见而在另一幅图像中不可见的情况，主要是由景物与摄像机之间的相互位置关系所致。立体视觉中主要考虑的是半遮挡现象，由于遮挡点不存在与之对应的匹配点，因此只能通过周围点的视差来估计遮挡点的视差。如何准确地检测遮挡点并估计其视差将是同行业从业人员亟待解决的另一个重要问题。

发明内容

鉴于上述问题，本发明提出了基于卷积神经网络的匹配算法，可提高立体图像匹配的准确度。

本发明实施例提供一种基于卷积神经网络的立体图像匹配方法，包括：

S1、获取多个立体匹配图像对和所对应的真实视差，将其作为数据集；

S2、构建卷积神经网络，选用线性纠正单元RELU函数进行激活；

S3、采用反向传播算法训练所述卷积神经网络，确定网络误差函数和学习速率；

S4、经过所述卷积神经网络的计算，网络输出的是左右图像块的匹配代价空间图；

S5、对所述代价空间图进行匹配代价聚合、视差选择和视差精化，选择具有最小代价的像素点作为匹配点，得到最终的视差图。

进一步地，所述S1步骤中数据集一部分来源于左图像，一部分来源于右图像：

表示以p(x,y)为中心，n×n的邻域；根据所述图像中每一个位置，获取所述每一个位置所对应的真实视差d，选出一个正样本，一个负样本；

所述S1步骤包括：

S11、将右图像邻域中心作改变，即得到负样本，令q坐标改为：