[发明专利]一种旋转和尺度不变的宽基线立体匹配方法

权利要求书

1.一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：

S1、读取待匹配的宽基线立体图像对：基准图像I_l和参考图像I_r，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配；

S2、对基准图像I_l中的当前像素点p_l，先利用初始稀疏匹配结果计算局部几何变换矩阵H，再计算当前像素点p_l在参考图像I_r中的初始匹配点p_r0，即p_r0＝H*p_l，然后选取方形匹配窗口N_l，根据局部几何变换矩阵H归一化该窗口，使归一化后的匹配窗口N_r能根据两幅图像之间的几何变换自适应地调整大小、方向及形状，捕捉相同场景的图像内容，其中p_l，p_r0是齐次坐标，即p_l＝(x_l,y_l,1)^T,p_r0＝(x_r0,y_r0,1)^T；

S3、对基准图像I_l中的像素点p_l，在参考图像I_r中以p_l+d₀为中心选取邻域N_pr0内的若干个候选匹配点p_r，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价C_WMZNCC(p_l，p_r)，搜索匹配代价最小的候选匹配点p_r作为像素点p_l的最佳匹配点，并记录匹配的可信度S，

$S=1-\underset{p_r\∈N_{p_{r0}}}{\min }\left(C_{WMZNCC}\right(p_l,p_r\left)\right)$

其中，d₀为当前像素点p_l与其初始匹配点p_r0的初始视差，即d₀＝(x_r0-x_l，y_r0-y_l)^T，

$\begin{array}{c}{C}_{WMZNCC}(p_l,p_r)\\ =1-\frac{2{\Σ}_{q_l\∈N_l,q_r\∈N_r}{w}_l(p_l,q_l)w_r(p_r,q_r)\left(I_l\right(q_l)-\stackrel{\‾}{I_l}\left(q_l\right))\left(I_r\right(q_r)-\stackrel{\‾}{I_r}\left(q_r\right))}{{\Σ}_{q_l\∈N_l}{w}_l(p_l,q_l)\left(I_l\right(q_l)-\stackrel{\‾}{I_l}\left(q_l\right))+{\Σ}_{q_r\∈N_r}{w}_r(p_r,q_r)\left(I_r\right(q_r)-\stackrel{\‾}{I_r}\left(q_r\right))}\end{array}$

式中，I_l(q_l)表示图像I_l中位置为q_l的像素点的灰度值，I_r(q_r)表示图像I_r中位置为q_r的像素点的灰度值，是窗口N_l中所有像素点灰度值的均值，是窗口N_r中所有像素点灰度值的均值，权值w_l(p_l,q_l)、w_r(p_r,q_r)由下式给出：

$w(p,q)=\exp (-(\frac{{\mathrm{\Δ}}_{c_{pq}}}{{\mathrm{\γ}}_c}+\frac{{\mathrm{\Δ}}_{g_{pq}}}{{\mathrm{\γ}}_p}\left)\right)$

其中，表示q点和p点在Lab颜色空间的颜色相似度，即欧几里德距离，表示q点和p点在空间位置上的欧几里德距离，γ_c、γ_p是根据经验设定的比例常数，分别用来调节颜色相似度和几何接近性对权值大小的影响；

S4、重复步骤S2至S3，直至遍历图像I_l的所有像素点，并按照可信度S将得到的匹配点分为可靠匹配点、不可靠匹配点和遮挡点，即

其中S₁为遮挡点阈值，S₂为可靠匹配点阈值；

S5、先以不可靠匹配点周围区域内的可靠匹配点作为参考，校正当前像素点的视差，再由遮挡点周围可靠匹配点的视差插值得到该遮挡点的视差，最后输出稠密视差图，显示立体匹配结果。