[发明专利]一种基于子孔径图像的光场图像角度超分辨率方法

说明书

本发明提出了一种基于子孔径图像的光场图像角度超分辨率方法，包括：提取稀疏采样光场子孔径图像阵列的Y通道信息；对所述Y通道信息进行预处理，获取最终的密集采样率光场子孔径图像阵列的Y通道信息；获取最终的密集采样率光场子孔径图像阵列的U通道信息和V通道信息；将所述最终的密集采样率光场子孔径图像阵列的Y通道信息、U通道信息和V通道信息进行合并，并将合并后的通道信息转化到RGB空间，获取最终密集采样光场子孔径图像阵列。本发明可以获得高质量密集采样光场子孔径图像，满足重聚焦、虚拟现实等多种应用的实时性需求。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于子孔径图像的光场图像角度超分辨率方法。

背景技术

光场成像可以记录来自真实场景的光线的强度值和方向，这为真实世界物体的三维表示带来了额外的角度信息。密集采样的光场图像在重聚焦、三维重建、深度估计等领域得到广泛应用。但是，由于硬件条件的限制，获取密集采样的光场图像代价高昂，已成为制约光场成像技术发展的主要瓶颈。因此，将稀疏采样的光场图像超分为密集采样的光场图像具备重要的理论意义和实际应用价值。

发明内容

为解决上述技术问题，本发明提出一种基于子孔径图像的光场图像角度超分辨率方法，可以获得高质量密集采样光场子孔径图像，满足重聚焦、虚拟现实等多种应用的实时性需求。

为实现上述目的，本发明提供了一种基于子孔径图像的光场图像角度超分辨率方法，包括：

提取稀疏采样光场子孔径图像阵列的Y通道信息；

对所述Y通道信息进行预处理，获取最终的密集采样率光场子孔径图像阵列的Y通道信息；

获取最终的密集采样率光场子孔径图像阵列的U通道信息和V通道信息；

将所述最终的密集采样率光场子孔径图像阵列的Y通道信息、U通道信息和V通道信息进行合并，并将合并后的通道信息转化到RGB空间，获取最终密集采样光场子孔径图像阵列。

可选地，提取稀疏采样光场子孔径图像阵列的Y通道信息包括：

将所述稀疏采样光场子孔径图像阵列从RGB空间转换到YUV空间，并提取稀疏采样光场子孔径图像阵列的Y通道信息；其中，所述稀疏采样光场子孔径图像阵列的维度为3×x×y×h×w，所述Y通道信息的维度为1×x×y×h×w；x×y为稀疏采样光场子孔径图像阵列中子孔径图像的角度分辨率，h×w为稀疏采样光场子孔径图像阵列中单个子孔径图像的空间分辨率，3为RGB三个通道，1为Y通道。

可选地，获取最终的密集采样率光场子孔径图像阵列的Y通道信息包括：

将所述Y通道信息输入扩散超分网络，获取粗的密集采样光场子孔径图像阵列的Y通道信息；

将粗的密集采样光场子孔径图像阵列的Y通道信息输入光场图像去模糊网络，获取细的密集采样光场子孔径图像阵列的Y通道信息；

将细的密集采样光场子孔径图像阵列的Y通道信息输入纹理信息强化网络，获取最终的密集采样率光场子孔径图像阵列的Y通道信息。

可选地，获取粗的密集采样光场子孔径图像阵列的Y通道信息包括：

将所述Y通道信息的两个角度维度x与y进行合并，获得四维稀疏采样光场子孔径图像阵列，其中，所述四维稀疏采样光场子孔径图像阵列的维度为1×(x×y)×h×w；

将所述四维稀疏采样光场子孔径图像阵列数组维数重新排列为1×1×(x×y)×h×w，并输入到所述扩散超分网络，获取粗的密集采样光场子孔径图像阵列的Y通道信息，其中，所述粗的密集采样光场子孔径图像阵列的Y通道信息的维度为1×(X×Y)×(x×y)×h×w，(X×Y)为超分后密集采样光场子孔径图像阵列的角度分辨率。

可选地，获取细的密集采样光场子孔径图像阵列的Y通道信息包括：