[发明专利]一种基于跨图像置信传播的人工复眼相机深度估计方法

权利要求书

1.一种基于跨图像置信传播的人工复眼相机深度估计方法，其特征在于，包括步骤：

S1、获取人工复眼图像，人工复眼相机具有M×N个子眼，单次捕捉可获得M×N个图像I_v(x,y)，其中v表示子眼图像在相机中的位置；其中，M、N分别表示子眼的行和列；

S2、构建深度估计能量函数：

S21、对任意子眼图像I_v(x,y)，按下式计算图像匹配代价D'_p(l_p)：其中D'_p(l_p)表示像素p的深度为l_p时的匹配代价，如果像素p深度为l_p时对应像素存在，则δ_i(l_p)为1，否则δ_i(l_p)为0；ε是常数以避免分母为0；N_v表示子眼图像I_v的最近4邻域图像；表示子眼图像I_v与任意相邻图像I_i的匹配代价，具体计算方法为：其中和分别表示截断光强度差异和截断梯度差异，λ表示对应项的权重，计算方法为：其中τ_I和τ_g分别表示光强度和梯度的截断值，I_v(p)、g_v(p)分别表示图像I_v中的像素p的光强度和梯度，I_i(p(l_p))和g_i(p(l_p))分别表示图像I_v中的像素p深度为l_p时在图像I_i中的对应像素的光强度和梯度；

S22、利用导向滤波器对匹配代价进行聚合，获得稳健的匹配代价D_p(l_p)，具体计算方法为：其中k表示以像素p为中心的宽度为(2ζ+1)的方形窗内的像素点，ω_p,k是取决于I_v的权重函数，ζ表示方形窗半边宽度，计算方法为：其中st是以像素t为中心的宽度为(2ζ+1)的方形窗，|s|表示st内的像素数，ε₁是规则化参数，Σ_t和U分别是3×3的协方差和单位矩阵，I_v(k)表示图像I_v中的像素k的光强度，μ_t表示st所在方形窗的像素光强度均值；

S23、按以下公式计算平滑项W(l_p,l_q)：W(l_p,l_q)＝min{|l_p-l_q|,τ_d}，其中，l_p表示像素p的深度，l_q表示像素p的相邻像素q的深度，τ_d为平滑项截断值；

S24、按以下公式计算分割先验代价Se(l_p,l_q)：其中seg(p)表示像素p的分割块标签，seg(q)表示像素q的分割块标签，λ_s表示相邻像素p和q属于不同分割块标签的代价；

S25、按下列公式构建深度估计能量函数EA(l)：其中E_v(l)表示子眼图像I_v的能量函数，计算方法为：其中，Ω表示子眼图像所有像素点，N表示p、q属于相邻像素的集合；

S3、利用跨图像置信传播对能量函数进行优化：

S31、传播消息计算：表示子眼图像I_v的像素p在第t次迭代时传给相邻像素q的消息，计算方法为：其中，Se^v(l_p,l_q)分别表示子眼图像I_v中像素p的平滑项、匹配代价、分割先验代价，N(p)\q表示除q以外的p的领域像素；

S32、跨图像消息传播：根据人工复眼子眼间几何关系，按下式将相邻子眼对应像素的消息进行融合，其中p’和q(l_q)分别表示p和q在相邻子眼图像I_i的对应像素，N_R表示子眼图像I_v的最近4邻域子眼；

S33、融合消息归一化：为了防止对应像素的消息差异太大，将融合后的消息按下式进行归一化，其中，s表示像素p的四邻域像素点；

S34、置信度计算和深度图估计：迭代计算步骤S31-S33 T次，按下式计算任意像素q深度为l_q的置信度b_q(l_q)，其中，N(q)表示q的邻域像素；随后利用WTA即Winner-Takes-All方法估计任意像素q的深度l，

S4、深度图精细化：

S41、对子眼图像I_v的深度图l^v，利用一致性检验方法获得一致的深度图如果像素p的深度l_p与任意4邻域子眼图像的对应像素的深度差异大于1像素，则该点像素深度标记为无效的深度值，并将该点深度赋值为-1；否则该点深度为有效深度值，保留其原深度值；

S42、利用拉普拉斯抠图，即matting Laplacian方法对中的标记为无效深度值的像素点进行插值，获得优化后深度图，具体计算方法为：

假设优化后的深度图为d^v，则深度优化问题为最小化以下函数，其中d和是d^v和的向量表达；O是对角矩阵，如果像素p为有效深度值，则O_pp为1，否则，则为0；其中，O_pp表示矩阵O第p行第p列的点，λ_l是平衡第一项和第二项的权重；M是拉普拉斯抠图矩阵，其元素(p,q)为，其中U₃是3×3单位矩阵；g|s∈θ_g表示以g为中心的所有包含在矩形窗θ_g内的像素点；μ_g和∑_g表示在矩形窗θ_g的3×1的均值向量和3×3的协方差矩阵；|θ_g|表示θ_g的像素个数；是规则化参数；I^v(p)、I^v(q)分别表示图像I_v中像素p和q的像素值；δ_pq是克罗内克函数，若p＝q，则δ_pq＝1，否则δ_pq＝0；

因此d^v可以通过求解以下线性方程获得，

S5、根据每个子眼获取深度图，对图像进行重构，并对深度进行融合获得最后融合后的深度图和重构图像。