[发明专利]一种旋转和尺度不变的宽基线立体匹配方法

说明书

技术领域

本发明涉及计算机视觉与图像处理领域，尤其是涉及一种旋转和尺度不变的宽基线立体匹配方法，可广泛应用于三维重建、立体显示、目标跟踪以及图像拼接等领域。

背景技术

立体匹配是计算机视觉领域的热点问题，也是三维重建、立体显示、目标跟踪、图像拼接等应用的核心技术。它的目标是在两幅或者多幅同一场景的图像中寻找对应点，最终得到匹配图像的视差图。视差图是以图像对中的任意一幅图像为基准，大小为该基准图像的大小，元素值为视差值的图像。稠密、准确的视差图能为后续应用提供可靠的数据支持。

D.Scharstein和R.Szeliski总结了传统的双目视觉立体匹配算法(D.Scharstein,R.Szeliski.“A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms.”IJCV,2002,pp.7-42.)，并将其分为两类：全局方法和局部方法。在全局方法中，立体匹配通常被转化为一个全局代价函数最小化的问题，通过例如信念传播、图割等优化方法寻找全局最优解。全局方法的匹配精度较高，能较好地处理遮挡、物体边缘和低纹理区域。但是全局代价函数构造复杂、难以控制，尤其是当约束项增加时，优化问题难以处理，计算结果通常依赖初值、容易陷入局部最优，计算复杂度随搜索范围的扩大而显著增加。在局部方法中，通常先为候选匹配对选择匹配窗口，然后基于窗口图像的相似度在一定视差范围内搜索最佳对应点，逐点计算获取稠密视差图。其中匹配区域的选择和区域图像相似度函数的设计是两大难点问题。基于窗口匹配的局部方法设计简单、计算速度快，在立体匹配中得到了广泛的应用。2006年，K.Yoon提出加权窗的方法(K.J.Yoon,I.S.Kweon.“Adaptive Support-Weight Approach for Correspondence Search.”TPAMI,2006,pp.650-656.)，在不改变窗口形状的情况下，基于颜色相似性和空间距离对窗口中像素的匹配代价加权，增加了窗口选择的灵活性，并显著提高了匹配精度。

传统的立体匹配算法侧重于研究窄基线的双目图像(如Middlebury数据库中的图像)，即要求输入图像对大致相同，通常只存在一个方向的微小视差，这对相机的空间配置提出了较高的要求，即要求光轴平行且基线距离较小，在实际应用中存在局限性。近年来，宽基线图像的稀疏匹配取得了较大的成功，大量关键点检测算法(K.Mikolajczyk,T.Tuytelaars.“A Comparison of Affine Region Detectors.”IJCV,2005.pp.43-72.)和特征描述子的构造方法(K.Mikolajczyk,C.Schmid.“A performance evaluation of local descriptors”.TPAMI,2005,pp.1615-1630.)被提出。这些算法的抗噪能力强，对图像的旋转和尺度变化具有不变性，甚至在图像经过仿射变换和视角变化后依然能找到可靠的匹配。但是在低纹理区域或者高重复纹理区域，很难提取出这样的特征，因此无法获得稠密的匹配。

在宽基线立体视觉系统的图像匹配领域，一种基于“种子点-传播”策略的准密集匹配方法(J.Kannala,S.Brandt.“Quasi-Dense Wide Baseline Matching Using Match Propagation.”CVPR.2007,pp.2126-2133.)被提出。其思想是先利用局部不变性特征进行稀疏匹配，作为种子点，然后以它为参考在相邻像素点搜索新的匹配，并加入到种子点中，循环往复，进行传播，直到传遍整幅图像。这类算法能够得到准稠密的视差图，匹配精度较高，然而有些区域依然无法找到匹配，这是因为这些区域的种子点数量稀少，或者传播在物体边缘难以继续。

宽基线立体视觉系统的图像匹配技术还很不成熟，发明一种旋转和尺度不变的宽基线立体匹配方法具有十分重要的意义，有利于把立体匹配技术应用到实际问题中去。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种旋转和尺度不变的宽基线立体匹配方法。

本发明的目的可以通过以下技术方案来实现：一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：

S1、读取待匹配的宽基线立体图像对：基准图像I_l和参考图像I_r，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配；