[发明专利]一种基于跨图像置信传播的人工复眼相机深度估计方法

摘要

本发明公开了一种基于跨图像置信传播的人工复眼相机深度估计方法，包括以下步骤：人工复眼相机深度估计能量函数设计；能量函数优化；计算初始深度；初始深度图精细化；生成深度图；人工复眼图像融合；输出融合图像和深度图。本发明使人工复眼相机深度估计和重构效果更好，可用于人工复眼相机三维重建领域。

主权项

1.一种基于跨图像置信传播的人工复眼相机深度估计方法，其特征在于，包括步骤S1、获取人工复眼图像，人工复眼相机具有M×N个子眼，单次捕捉可获得M×N个图像Iv(x,y)，其中v表示子眼图像在相机中的位置；S2、构建深度估计能量函数EA：S21、对任意子眼图像Iv(x,y)，按下式计算图像匹配代价D'p(lp)：其中D'_p(l_p)表示像素p的视差为l_p时的匹配代价，如果像素p视差为l_p时对应像素存在，则δ_i(l_p)为1，否则δ_i(l_p)为0；ε是一个很小的常数以避免分母为0；N_v表示子眼图像I_v的最近4邻图像；表示子眼图像I_v与任意相邻图像I_i的匹配代价，具体计算方法为：其中和分别表示截断光强度差异和截断梯度差异，计算方法为：其中τ_I和τ_g分别表示光强度和梯度的截断值，I_i(p(l_p))和g_i(p(l_p))分别表示图像I_v中的像素p视差为l_p时在图像I_i中的对应像素的光强度和梯度；S22、利用导向滤波器对匹配代价进行聚合，获得稳健的匹配代价D_p(l_p)，具体计算方法为：其中k表示以像素p为中心的宽度为(2ζ+1)的方形窗内的像素点，ω_p,k是取决于I_v的权重函数，计算方法为：其中st是以像素t为中心的宽度为(2ζ+1)的方形窗，|s|表示st内的像素数，ε₁是规则化参数，Σ_t和U分别是3×3的协方差和单位矩阵；S23、按以下公式计算平滑项W(lp,lq)：W(lp,lq)＝min{|lp‑lq|,τd}，其中lq表示像素p的相邻像素q的视差，τd为平滑项截断值；S24、按以下公式计算分割先验代价Se(lp,lq)：其中seg(p)表示像素p的分割块标签，λ_s表示相邻像素p和q属于不同分割块标签的代价；S25、按下列公式构建深度估计能量函数EA(l)：其中E_v(l)表示子眼图像I_v的能量函数，计算方法为：S3、利用跨图像置信传播对能量函数进行优化：S31、传播消息计算：表示子眼图像I_v的像素p在第t次迭代时传给相邻像素q的消息，计算方法为：其中N(p)\q表示除q以外的p的领域像素；S32、跨图像消息传播：根据人工复眼子眼间几何关系，按下式将相邻子眼对应像素的消息进行融合，其中p’和q(l_q)分别表示p和q在相邻子眼图像I_i的对应像素，N_R表示子眼图像I_v的最近4邻域子眼；S33、融合消息归一化：为了防止对应像素的消息差异太大，将融合后的消息按下式进行归一化，S34、置信度计算和深度图估计：迭代计算步骤S31‑S33T次，按下式计算任意像素q深度为lq的置信度bq(lq)，随后利用WTA即Winner‑Takes‑All方法估计q的深度l，S4、深度图精细化：S41、对子眼图像I_v的深度图l^v，利用一致性检验方法获得一致的深度图如果像素p的深度l_p与任意4邻域子眼图像的对应像素的深度差异大于1像素，则该点像素深度标记为无效的深度值，并将该点深度赋值为‑1；否则该点深度为有效深度值，保留其原深度值；S42、利用拉普拉斯抠图，即matting Laplacian方法对中的标记为无效深度值的像素点进行插值，获得优化后深度图，具体计算方法为：假设优化后的深度图为dv，则深度优化问题可以看成是最小化以下函数，其中d和是d^v和的向量表达；O是对角矩阵，如果像素p为有效深度值，则O_pp为1，否则，则为0；λ_l是平衡第一项和第二项的权重；M是拉普拉斯抠图矩阵，其元素(p,q)为，其中U₃是3×3单位矩阵；μ_g和∑_g表示在矩形窗θ_g的3×1的均值向量和3×3的协方差矩阵；|θ_g|表示θ_g的像素个数；是规则化参数；因此dv可以通过求解以下线性方程获得，S5、根据每个子眼获取深度图，对图像进行重构，并对深度进行融合获得最后融合后的深度图和重构图像。