[发明专利]基于全局块优化的立体影像密集匹配方法

权利要求书

1.一种基于全局块优化的立体影像密集匹配方法，其特征在于，它包括如下步骤：

步骤1：在立体影像中，选择基准影像和参考影像，采用传统的立体影像密集匹配方法，获取初匹配的视差图；

步骤2：采用SLIC超像素分割方法，将基准影像分割成一系列相互邻接的块，用S_i表示基准影像上的第i个块；

步骤3：构建基于全局块优化的立体影像密集匹配全局能量函数中的数据项Edata，数据项Edata用于描述基准影像的每个块与参考影像上的同名块之间的非相似性测度；

每个所述块都用一个视差平面方程来描述，即：

d(p)=ai·pix‾+bi·piy‾+ci;p∈Si.]]>

其中，a_i、b_i、c_i表示块S_i的视差平面方程参数；p＝(px,py)^T表示块S_i内的一个像素；d表示像素所对应的视差；表示像素p的重心化坐标；

令表示块S_i所对应的视差平面方程系数的改正数，表示基准影像上所有视差平面方程系数的改正数所组成的未知数向量，τ表示块的数目，i∈1,...τ，可以将能量函数的数据项表示为：

Edata=x~TGdatax~-2HdataTx~]]>

式中，G_data表示数据项E_data的二次项系数矩阵；H_data表示数据项E_data的一次项的系数矩阵，E_data为基于全局块优化的立体影像密集匹配的全局能量函数的数据项，T表示转置符号，上述二次项系数矩阵G_data和一次项系数矩阵H_data的具体表达为：

G_data＝Diag(-g_data(S_i))；

Hdata=-hdataT(S1)-hdataT(S2)...-hdataT(Sτ)T;]]>

gdata(Si)=∂2r(a0,b0,c0|Si)∂a∂a∂2r(a0,b0,c0|Si)∂a∂b∂2r(a0,b0,c0|Si)∂a∂c∂2r(a0,b0,c0|Si)∂a∂b∂2r(a0,b0,c0|SSi)∂b∂b∂2r(a0,b0,c0|Si)∂b∂c∂2r(a0,b0,c0|Si)∂a∂c∂2r(a0,b0,c0|Si)∂b∂c∂2r(a0,b0,c0|Si)∂c∂c;]]>

hdata(Si)=-∂r(a0,b0,c0|Si)∂a-∂r(a0,b0,c0|Si)∂b-∂r(a0,b0,c0|Si)∂c;]]>

上式中，Diag表示对角线矩阵；g_data(S_i)、h_data(S_i)分别表示G_data、H_data中的对应S_i的块矩阵；a、b、c表示视差平面方程系数；a₀、b₀、c₀表示视差平面方程系数的初值；r(a₀,b₀,c₀|S_i)表示块S_i所对应的相关系数；u＝a,b or c表示函数r(a₀,b₀,c₀|S_i)对未知数u的一阶偏微分；u₁＝a,b or c,u₂＝a,b or c表示函数r(a₀,b₀,c₀|S_i)对未知数u₁、u₂的二阶偏微分；

步骤4：构建基于全局块优化的立体影像密集匹配全局能量函数中的平滑项E_smooth，平滑项E_smooth用于保证相邻块之间连续平滑；

同样令表示所有块所对应的视差方面方程参数的改正数组成的未知数向量，表示第τ个视差平面方程系数的改正数所组成的未知数向量，可以将平滑项E_smooth表示为：

Esmooth=x~TGsx~-2HsTx~]]>

式中，G_s表示平滑项E_smooth的二次项系数矩阵，H_S表示平滑项E_smooth的一次项系数矩阵；

上述二次项系数矩阵G_s和一次项系数矩阵H_S可以分别表达为：

Gs=Σi=1τ(ΣSj∈N(Si)[Pn1(i,j)|E(Si,Sj)|Σt∈E(Si,Sj)gsr(Si,Sj,t)+Pn2(i,j)gsr(Si,Sj,ci)])]]>

Hs=Σi=1τ(ΣSj∈N(Si)[Pn1(i,j)|E(Si,Sj)|Σt∈E(Si,Sj)hsr(Si,Sj,t)T+Pn2(i,j)hsr(Si,Sj,ci)T])]]>

其中，τ表示块的数目；S_j表示S_i的邻接块；N(S_i)表示块S_i的相邻块集合；E(S_i,S_j)表示块S_i内与块S_j相邻接的像素集合；|E(S_i,S_j)|表示集合E(S_i,S_j)内的像素数目；c_i＝(c_ix,c_iy)^T表示块S_i的重心；Pn₁(i,j)表示根据块S_i与块S_j的邻接关系计算出来的连接性惩罚系数；Pn₂(i,j)表示根据块S_i与块S_j的邻接关系计算出来的共面性惩罚系数；t表示基准影像上的一个像素，该像素位于集合E(S_i,S_j)内，且是块与块之间邻接处的像素；g_sr(S_i,S_j,t)表示块S_i与块S_j之间关于像素t的相关矩阵；h_sr(S_i,S_j,t)表示块S_i与块S_j之间一次项系数矩阵的分块矩阵；

σ1(t,Si,Sj)=tix‾2tix‾·tiy‾tix‾tix‾·tiy‾tiy‾2tiy‾tix‾tiy‾1]]>

σ2(t,Si,Sj)=tjx‾2tjx‾·tjy‾tjx‾tjx‾·tjy‾tjy‾2tjy‾tjx‾tjy‾1]]> 2

σ3(t,Si,Sj)=-tix‾·tjx‾-tix‾·tjy‾-tix‾-tiy‾·tjx‾-tiy‾·tjy‾-tiy‾-tjx‾-tjy‾-1]]>

其中，σ₁(t,S_i,S_j)表示块S_i与块S_j之间关于像素t的二次项分块矩阵，T为转置符号；0_3×3表示3×3的零矩阵；表示像素t关于块S_i的重心化坐标；表示像素t关于块S_j的重心化坐标；

hsr(Si,Sj,t)=03×3T...hi(t,Si,Sj)T...hj(t,Si,Sj)T...03×3TT]]>

hi(t,Si,Sj)=(dj0(t)-di0(t))tix‾tiy‾1T]]>

hj(t,Si,Sj)=(di0(t)-dj0(t))tjx‾tjy‾1T]]>

其中，h_i(t,S_i,S_j)表示h_sr(S_i,S_j,t)内，关于S_i的分块矩阵；h_j(t,S_i,S_j)表示h_sr(S_i,S_j,t)内，关于S_j的分块矩阵；表示根据块S_i的视差平面方程初值，计算出来的像素t的视差；表示根据块S_j的视差平面方程初值，计算出来的像素t的视差；表示像素t关于块S_i的重心化坐标；表示像素t关于块S_j的重心化坐标；

步骤5：根据数据项E_data和平滑项E_smooth，构建基于全局块优化的立体影像密集匹配的全局能量函数，其中，上述全局能量函数的极值最优解，即为立体影像密集匹配的结果；

定义D表示立体影像匹配的视差图，E(D)表示基于全局块优化的立体影像密集匹配的全局能量函数，那么，将上述全局能量函数定义为：

E(D)=Edata+Esmooth=x~T(Gdata+Gs)x~-2(HdataT+HsT)x~]]>

其中，E_data表示基于全局块优化的立体影像密集匹配的全局能量函数的数据项；E_smooth表示基于全局块优化的立体影像密集匹配的全局能量函数的平滑项；

求公式的最小值，等价于求可以采用最小二乘方法直接计算获得全局最优的立体影像密集匹配视差图。