[发明专利]一种双目视觉匹配代价聚合优化方法

说明书

本发明公开了一种双目视觉匹配代价聚合优化方法，可以用于在计算机视觉立体匹配领域。采用census算法对左右图像进行匹配，计算出左图像在右图像中相应点视差范围内代价，获取到每个点视差范围内的代价数组；计算出每个点视差范围内的代价方差，进行代价聚合，结合掩码方案将误差代价进行排除，计算出每个点的聚合结果；最后通过分析聚合中数据的相关性，把代价聚合过程中无相关路径和同一条路径内数据进行拆分隔离，提高聚合实时性。整个方法可提高最终匹配精度和实时性。

技术领域

本发明属于计算机视觉技术领域，主要涉及一种双目视觉匹配代价聚合优化方法。

背景技术

计算机视觉就是用各种成像手段代替人视觉器官作为一种信息采集输入手段，由计算机代替人大脑完成信息的处理和解释，最终目标可以使计算机能够像人一样能够观察、识别、理解物理世界，可以从图像或图像序列中提取信息，提取客观世界的三维信息以及物体形态等。上世纪50年代计算机视觉技术主要集中在二维图像分析、识别领域。60年代中期美国MIT的Robert首次完成了对三维积木世界的解释，同时Huffman，Clows以及Waltz等人对积木世界进行了研究并分别解决了由线段解释景物和处理阴影的问题，为三维立体视觉技术发展的转折点。立体视觉也称双目视觉或者双目立体视觉(Stere Vision),是获取物体三维信息的重要手段，原理是模拟人类双眼原理，从两个或者多个点观察一个物体获取在不同视角下的图像，通过三角测量原理计算图像像素之间的位置偏移(即视差)来获取物体的三维信息。M.Z.Brown和D.Burschk等人将立体视觉主要划分为摄像机标定，立体匹配算法和三维信息恢复等主要几步，相机标定主要是为了确定相机位置，熟悉参数以及建立成像模型，以便确定空间坐标系中物体在图像上像点之间的对应关系。立体匹配时整个立体视觉中最复杂、重要重要的步骤，主要如何从左图片上的任意一点在右图上寻找对应点的过程。根据立体匹配视差结果之后，结合相机参数就可恢复出特定点的深度信。Heiko Hirschmu¨ller于2008年发表的“Stereo Processing by Semiglobal Matchingand Mutual Information”文章中通过建立模型将双目匹配主要划分为双目图像预处理，双目匹配算法，代价聚合，深度计算，误差消除平滑处理等几个步骤。双目匹配算法一直是影响立体视觉研究的瓶颈问题，同时也是立体视觉中研究的热点领域，主要存在问题集中在两个方面计算速度即实时性和计算准度问题。传统立体匹配算法中主要分为局部方法和全局方法，局部方法仅仅依赖与给定窗口中有限个像素，计算复杂度较低但是运算速度块，但是在低纹理区域及重复纹理区域容易产生误差，准确度较低。全局算法将视差问题转化为全局能量函数，每个像素点都依赖于图片中其他所有像素信息，可以提供匹配的准确度，但是运算复杂度较高，不能适用于实时性较高场景。Smith在‘SUSAN-a new approach tolow level image processing[J]’中提出了著名的SUSAN角点检测算子，该方法通过对像素周围区域分析，用统计特性来解决该像素的属性即该像素是角点，边上的点还是普通区域中的点，根据角点特征分别在左图像和右图像中找到相应的位置。Noble在’FindingComers[J]’中试图用微分几何给出角点检测的理论公式，并归纳出了在Plessey算法下的检测原则。Harris和Stephensf在’ACombined Comer and Edge Detector[C]’对Plessey角点检测进行改进，提出Harris算子。Pritchett和Zisserman等人在‘A Matching andReconstruction from Widely Separated Views[J]’提出了用单应矩阵(Homography)取代传统的灰度相似性和极线约束作为匹配的准则，他们近似认为特征点及其周围小块区域是空间中平面的成像，因此匹配点对之间应近似满足单应矩阵的关系。另外，他们试图寻找一种整体相似变换，以使两幅图像在相差一个常数因子的情况下具有最大相关性，根据整体变换，估计图像间局部区域的仿射变换，用局部变换来寻找匹配点。Lhuillier和Long等人在‘Robust Dense Matching Using Local mad Global Geometric Constraints[C]’提出了一种稠密匹配的新策略，该策略综合了以对极几何约束为代表的全局约束和以灰度相似、单应矩阵为代表的局部约束，在每次匹配过程中，选取当前灰度相似性最大的匹配对，在它的周围小区域内寻找更多的匹配对，重复这种过程直至匹配对充满整幅图像，最后再应用对极几何约束去除错误匹配。该方法对于纹理稠密的图像特别有效，缺陷是精度不高。国内研究情况CN201510882365.6提出了对双目图像进行图像梯度矩阵求解方法得到视差图方法。随着神经网络以及机器学习技术发展，很多研究学者将其方法引入到双目匹配算法，Kong和Tao在.A method for learning matching errors in stereo computation[J]中使用SD来计算初始匹配代价，并训练了一个模型来预测初始视差出现下列三种情况的可能性：初始视差是正确的、初始视差出现了前景膨胀、初始视差出现了其他错误，预测出来的初始视差可信度被用来对其进行再次修正，进一步将研究扩展到利用归一化交叉相关来合并不同大小的窗得到的预测结果。Spyropoulos在“Learning to Detect GroundControl Points for Improving the Accuracy of Stereo Matching[C]”训练了一个随机森林分类器来预测初始代价的置信度然后将预测结果作为马尔科夫随机场的软约束用以减少立体匹配结果的误差。国内研究进展，CN105956597A提出了一种基于卷积神经网络的双目立体匹配算法，首先采用了两个卷积神经子网络对待匹配图像小块进行特征提取，通过卷积神经网络的自动学习能力，能够自动提取出健壮、多样的特征，避免了传统立体匹配方法的复杂的特征选择和人工抽取特征的过程。然后将它们的输出特征进行级联送入到全连接层进行匹配代价计算，获得了比传统立体匹配方法更好的匹配代价，结合视差的后处理方法，可有效获得高精度的视差图.CN108682026A提出基于匹配基元融合的双目视觉立体匹配方法。不论是传统方法还是神经网络方法，仍然无法解决立体匹配中的计算效率和计算准确度之间达到完美平衡，上述研究方向主要集中匹配算法领域，对代价聚合研究相对较少，经过统计代价聚合计算复杂度以及计算量在整个立体匹配过程中至少占50％，本发明则针对如何提高代价聚合以及准确度，效率方法进行研究。