[发明专利]融合光场子孔径图像与宏像素图像的角度超分辨率方法

权利要求书

1.融合光场子孔径图像与宏像素图像的角度超分辨率方法，其特征在于，包括：

获取初始图像，提取子孔径图像阵列Y通道信息，其中所述初始图像为低角度分辨率光场图像；

对所述子孔径图像阵列Y通道信息进行处理，获取第一高角度分辨率子孔径图像阵列Y通道信息；

将所述子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于所述宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；

对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联处理，并对级联后的数据进行维度还原，得到级联数据；

对级联数据进行处理，得到高角度分辨率子孔径图像阵列Y通道残差信息；

基于所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果，获取最终高角度分辨率子孔径图像阵列Y通道信息；

提取子孔径图像阵列U通道信息及V通道信息，基于所述子孔径图像阵列U通道信息及V通道信息及所述最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列；

其中，第一高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：

构建子孔径角度超分辨率网络，其中所述子孔径角度超分辨率网络为卷积神经网络；

通过所述子孔径角度超分辨率网络对所述子孔径图像阵列Y通道信息进行处理，获取粗高角度分辨率子孔径阵列图像；

对所述粗高角度分辨率子孔径阵列图像进行空间图像几何变换得到第一高角度分辨率子孔径图像阵列Y通道信息；

其中，所述第二高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：

将所述子孔径图像阵列Y通道信息中每个角度的相同位置的像素进行提取，并基于提取的像素构成所述宏像素图像阵列Y通道信息；

将所述宏像素图像阵列Y通道信息进行重新排列；

构建宏像素空间超分辨率网络，其中所述宏像素空间超分辨率网络为卷积神经网络；

通过所述宏像素空间超分辨率网络对所述宏像素图像阵列Y通道信息重新排列后的数据进行处理并进行像素重组，得到第二高角度分辨率子孔径图像阵列Y通道信息；

其中，高角度分辨率子孔径图像阵列Y通道残差信息的获取过程包括：

构建纹理修复网络，所述纹理修复网络为3D卷积神经网络；

通过纹理修复网络对所述级联数据进行融合处理，得到高角度分辨率子孔径图像阵列Y通道残差信息，其中所述纹理修复网络包括三层卷积层以及两个ReLU激励层；

其中，最终高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：

对所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果进行相加，得到最终高角度分辨率子孔径图像阵列Y通道信息。

2.根据权利要求1所述方法，其特征在于：

所述子孔径图像阵列Y通道信息的提取过程包括：

通过光场相机拍摄获取初始图像，将所述初始图像的角度分辨率进行合并，然后将角度分辨率合并后的初始图像从RGB空间转换到YUV空间，在YUV空间中提取子孔径图像阵列Y通道信息。

3.根据权利要求1所述方法，其特征在于：

级联数据的获取过程包括：

对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联，通过维度还原网络对级联后的数据进行维度还原，得到级联数据，其中维度还原网络为卷积神经网络，所述维度还原网络包括三个卷积层及两个激励层，所述级联数据为高角度分辨率光场图像阵列。

4.根据权利要求1所述方法，其特征在于：

高角度超分辨率子孔径图像阵列的获取过程包括：

对所述子孔径图像阵列U通道信息及V通道信息进行双线性上采样处理，并将双线性上采样处理后的数据与所述最终高角度分辨率子孔径图像阵列Y通道信息进行合并，并将合并后的数据从YUV空间转换到RGB空间，得到高角度超分辨率子孔径图像阵列。