[发明专利]基于角度信息的4D光场全聚焦图像获取方法

权利要求书

1.基于角度信息的4D光场全聚焦图像获取方法，其特征在于，按照以下步骤进行：

步骤1)对原始4D光场L(x,y,u,v)进行坐标变换，得到聚焦在不同深度处4D光场数据，用公式(1)表示：

其中表示坐标变换操作符；表示二重积分操作符，坐标变换和二重积分的操作符定义如下：

其中，[x,y,u,v]表示行向量，为坐标变换矩阵：

根据公式(2)，α_n取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，在不同成像深度处的4D光场可表示为：

公式(5)得到的4D数据很好的保留了光场的角度信息，下面对基于公式(5)得到的多组4D光场矩阵进行融合，以实现基于角度信息的光场全聚焦图像计算，为了方便表述，下文将记为

步骤2)利用角度信息建立宏像素能量差异函数进行清晰度评价，完成4D光场数据融合：

设4D光场的空间分辨率为X×Y，角度分辨率为U×V，将4D光场数据进行可视化，4D光场矩阵L(x,y,u,v)与其对应的可视化2D图像I(i,j)存在以下坐标映射关系：

本发明提出宏像素能量差异函数，对于每个宏像素(x,y)，其能量差异值可由下式计算：

其中，表示4D光场中宏像素(x,y)的中心视点的灰度值；

对步骤1)得到的聚焦深度不同的4D光场，选择能量值最小的宏像素组成融合后的4D光场，基于公式(7)，遍历4D光场的空间坐标(x,y)，可得不同4D光场的权重矩阵；

其中，[1]_U×V表示大小为U×V的单位矩阵；[0]_U×V表示大小为U×V的全零矩阵；N代表待融合4D光场矩阵的个数；min[·]表示取最小值操作；为利用光场角度信息获得的宏像素能量差异值，利用作为清晰度度量指标，其值越小清晰度越高；

将待融合的4D光场矩阵与其对应的权重矩阵加权平均即得融合后4D光场，如下式：

步骤3)利用升维后的中心子孔径图像对融合的4D光场进行引导滤波优化，最后对优化的4D光场数据进行二重积分得到全聚焦图像；

由所有宏像素的中心点组成的中心子孔径图像可作为引导图像，其计算方式如下：

I_c(x,y)＝L(x,y,u,v)|_{u＝(U+1)/2,v＝(V+1)/2} 公式(10)

由于作为引导图的中心子孔径图像与输入的4D光场尺寸不一致，在滤波操作前利用最近邻插值法对中心子孔径图像进行升维：

L_c(x,y,u,v)|_{u＝[1～U],v＝[1～V]}＝I_c(x,y) 公式(11)

通过公式(10)，将中心子孔径图像中的每个像素点传播为一个U×V的块，形成一个宏像素，从而得到4D滤波矩阵L_c(x,y,u,v)；

对融合后4D光场的引导滤波如下式：

其中，O表示优化后的4D光场I为升维的中心子孔径图像L_c(x,y,u,v)，a_k、b_k为线性系数，其值由输入的4D光场以及L_c(x,y,u,v)决定，ω_k为以像素k为中心的引导滤波窗口，窗口中包含像素i；

最后，对优化的4D光场沿(u,v)方向做二重积分，得到最终的全聚焦图像：