[发明专利]一种基于遮挡几何互补模型的光场相机深度估计方法

摘要

本发明公开了一种基于遮挡几何互补模型的光场相机深度估计方法。本发明利用光场光流理论得到光场图像多个视角的遮挡信息，再利用了相对的两个视角中，所看到遮挡区域具有互补关系的性质，通过求两个视角的遮挡信息，对两部分信息进行融合，从而实现精确的光场图像深度估计。本发明能够对具有丰富纹理变化的区域实现很好的遮挡结果，并且得到精确的深度图。

主权项

1.一种基于遮挡几何互补模型的光场相机深度估计方法，其特征在于包括如下步骤：步骤(1)：将原始光场数据重组为一组子光圈图像阵列，具体如下：原始光场数据的双平面表示方式为LF(x,y,u,v,c)，表现为经过微透镜阵列平面和主透镜平面坐标的光线集合；(x,y)为微透镜阵列平面坐标，取值范围为x∈[1,N_x],y∈[1,N_y]中的整数值，N_x和N_y分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，取值范围为u∈[‑N_u/2,N_u/2],v∈[‑N_v/2,N_v/2]中的整数值，N_u和N_v分别为微透镜图像水平和垂直方向的像素个数；c为颜色通道，取值范围为c∈[1,N_c]中的整数值，N_c取值为3，表示红、绿、蓝三色通道；对于主透镜平面上的某个具体坐标位置(u,v)，从原始光场数据LF(x,y,u,v,c)中提取主透镜平面坐标为(u,v)的数据，合为一幅子光圈图像LF_(u,v)(x,y,c)；主透镜平面坐标中心(0,0)位置的子光圈图像为中心子光圈图像LF_(0,0)(x,y,c)；主透镜平面上所有坐标位置的子光圈图像共有N_u×N_v幅，组成子光圈图像阵列；步骤(2)：计算中心子光圈图像LF_(0,0)(x,y,c)的水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)；计算子光圈图像LF_(u,v)(x,y,c)的水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)；所述的水平梯度图和垂直梯度图像计算方法为：对于图像I(x,y,c)，根据图像梯度计算公式，可得图像I(x,y,c)在水平和垂直方向的梯度分别为GxI(x,y,c)、GyI(x,y,c)；所述梯度计算公式具体描述为：步骤(3)：设定偏移量k的有效范围[k_min,k_max]，偏移量步进Δk和偏移标号n；偏移量k的个数INT(·)为截取小数部分的取整函数；偏移标号n取值[0,N_k]间的整数，有偏移标号n所对应的偏移量为k_min+nΔk；偏移量k的有效范围[k_min,k_max]为[‑4.0,0.5]，偏移量步进Δk＝0.05；步骤(4)：将中心子光圈图像LF_(0,0)(x,y,c)及其水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)分别作为基准图像I_r(x,y,c)及其水平梯度图GxI_r(x,y,c)和垂直梯度图像GyI_r(x,y,c)；将子光圈图像LF_(u,v)(x,y,c)及其水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)分别作为对准图像I_g(x,y,c)及其水平梯度图GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)；则对准图像I_g(x,y,c)与基准图像I_r(x,y,c)在主透镜平面坐标(u,v)上的偏差为：Δu＝‑u,Δv＝‑v；步骤(5)：采用频率域相移计算方法，计算对准图像I_g(x,y,c)及其水平梯度图像GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)经偏移标号n所对应的偏移后图像I′_g(x,y,c|n)、GxI′_g(x,y,c|n)和GyI′_g(x,y,c|n)，具体为：对于偏移标号n，根据光场重对焦公式，计算对准图像I_g(x,y,c)相对于基准图像I_r(x,y,c)的相移量θ＝{θ_x,θ_y}，其中水平方向相移量θ_x＝Δu×(k_min+nΔk)，垂直方向相移量θ_y＝Δv×(k_min+nΔk)；采用频率域相移计算方法，有：I_g′(x,y,c|n)＝F^‑1(F(I_g(x,y,c))×e^2πi·θ)；GxI′_g(x,y,c|n)＝F^‑1(F(GxI_g(x,y,c))×e^2πi·θ)；GyI′_g(x,y,c|n)＝F^‑1(F(GyI_g(x,y,c))×e^2πi·θ)；其中F(·)和F^‑1(·)分别为二维傅里叶变换和二维傅里叶逆变换；步骤(6)：根据步骤(5)得到的结果，计算对准图像I_g(x,y,c)经偏移标号n所对应的偏移后，与基准图像I_r(x,y,c)的对应性差异值C(x,y|n)，具体为：C(x,y|n)＝(1‑β)·C_SAD(x,y|n)+β·C_GxySAD(x,y|n)；其中C_SAD(x,y|n)和C_GxySAD(x,y|n)分别为像素点(x,y)在偏移标号n下的色彩差异和梯度差异，β为色彩差异和梯度差异的融合参数，取值为0.11；C_SAD(x,y|n)和C_GxySAD(x,y|n)具体计算公式为：其中MIN(·)为求最小值函数；τ为对应性差异的最大阈值，取值为0.5；步骤(7)：根据步骤(6)结果，提取每个像素点的初始深度标号，生成初始深度标号图d_label(x,y)，具体为：对于像素点(x,y)，在偏移标号n下的对应性差异值为C(x,y|n)，它的初始深度标号为使其对应性差异值最小的偏移标号，并记录最小对应性差异值C_min(x,y)，表示为：C_min(x,y)＝minC(x,y|n)；步骤(8)：采用基于导向滤波的加权中值滤波方法，将基准图像I_r(x,y,c)作为导向图，对步骤(7)中得到的初始深度标号图d_label(x,y)进行加权中值滤波，滤波后的深度标号图为d_l′_abel(x,y)；导向滤波的正则参数为0.0001，窗口半径为9；步骤(9)：根据步骤(8)结果，计算对准图像相对于基准图像的光流，具体为：对于像素点(x,y)，其光流flow(x,y)表示为：步骤(10)：根据步骤(9)所得到的光流flow(x,y)，将其定义为中心子光圈图像LF_(0,0)(x,y,c)到子光圈图像LF_(u,v)(x,y,c)的前向光流flow_forward(x,y|u,v)；并将步骤(6)中各偏移标号n下的对应性差异值C(x,y|n)记录为子光圈图像LF_(u,v)(x,y,c)在各偏移标号n下的对应性差异值C_(u,v)(x,y|n)；步骤(11)：将子光圈图像LF_(u,v)(x,y,c)及其水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)分别作为基准图像I_r(x,y,c)及其水平梯度图GxI_r(x,y,c)和垂直梯度图像GyI_r(x,y,c)；将中心子光圈图像LF_(0,0)(x,y,c)及其水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)分别作为对准图像I_g(x,y,c)及其水平梯度图GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)；对准图像I_g(x,y,c)与基准图像I_r(x,y,c)在主透镜平面坐标(u,v)上的偏差为：Δu＝u,Δv＝v；重复步骤(5)到步骤(9)；将步骤(9)所得到的光流flow(x,y)定义为中心子光圈图像LF_(0,0)(x,y,c)到子光圈图像LF_(u,v)(x,y,c)的后向光流flow_backward(x,y|u,v)；步骤(12)：根据步骤(10)和步骤(11)结果，采用基于前向光流和后向光流的遮挡检测方法，估计子光圈图像LF_(u,v)(x,y,c)与中心子光圈图像LF_(0,0)(x,y,c)之间的遮挡Occ_(u,v)(x,y)，表示为：步骤(13)：根据步骤(12)和步骤(10)结果，可得每个子光圈图像与中心子光圈图像之间的遮挡估计和最小对应性差异值；根据遮挡几何互补模型，滤除遮挡光线，并将所有子光圈图像在偏移标号n下的对应性差异值进行累加，获得最终对应性代价cost(x,y|n)，具体为：步骤(14)：根据步骤(13)中得到的最终对应性代价cost(x,y|n)，提取深度标号图具体为：对于像素点(x,y)，在偏移标号n下的最终对应性差异值为cost(x,y|n)，其深度标号为使其最终对应性差异值最小的偏移标号，表示为：步骤(15)：采用基于导向滤波的加权中值滤波方法，将中心子光圈图像LF_(0,0)(x,y,c)作为导向图，对步骤(14)中得到的深度标号图进行加权中值滤波，得到滤波后深度标号图为导向滤波的正则参数为0.0001，窗口半径为9；步骤(16)：根据步骤(15)中得到的滤波后深度标号图计算最终深度图depth(x,y)，具体为：对于像素点(x,y)，其滤波后深度标号为其最终深度为：