[发明专利]融合光场子孔径图像与宏像素图像的角度超分辨率方法

说明书

本发明公开融合光场子孔径图像与宏像素图像的角度超分辨率方法，包括：获取初始图像，提取子孔径图像阵列Y通道信息，基于初始图像，获取第一高角度分辨率子孔径图像阵列Y通道信息；将子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；基于第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息，获取最终高角度分辨率子孔径图像阵列Y通道信息，基于U通道信息及V通道信息及最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。本发明能够有效提升角度超分辨率后光场图像的图像质量。

技术领域

本发明涉及图像处理技术领域，特别涉及融合光场子孔径图像与宏像素图像的角度超分辨率方法。

背景技术

作为一种多维计算摄像技术，光场成像技术可以同时记录成像平面的光强分布以及光线的角度信息，被认为是下一代成像技术。利用该技术获取的光场图像包含三维场景光线的位置以及角度四维信息，打破了传统相机成像只能获取三维空间中某一个二维平面光强分布的瓶颈。也正是因为该特性，使得光场成像技术在数字重聚焦、深度提取、图像分割、三维重建、识别与跟踪等方面得到了广泛的应用。目前，手持单镜头光场相机是一种应用广泛的光场图像获取设备，可以记录三维场景的空间及角度信息，进一步推动了光场成像技术的发展。但是由于光场相机传感器分辨率的限制，获取光场图像的空间信息与角度信息成反比，也即是在获取高空间分辨率的前提下，并不能获取高的角度分辨率。这直接影响了光场成像技术在场景深度提取、三维重建、虚拟现实等的应用。因此，探索如何利用稀疏的高空间分辨率的光场图像重建高角度分辨率的光场图像具有重要的理论意义和实际应用价值。

获取具有高角分辨率的光场图像是昂贵的，尽管已经提出了许多方法来提高稀疏采样光场的角度分辨率，但它们总是专注于消费光场相机捕获的具有小基线的光场，并且仍然存在重建质量低、计算效率低或采样模式规律性的限制。最近，已经提出了一些基于学习的方法来隐式学习结构信息并直接合成新视图。在没有明确的深度信息的情况下，这些方法主要是为小基线的光场设计的。然而，这些方法要么使用2D卷积神经网络(CNN)分别对空间域和角域进行建模，要么在极平面图像(EPI)上使用3D CNN对两个维度进行分层上采样，这不能充分探索光场中固有的对应关系，导致角度超分辨率后的光场图像存在模糊、斑点伪影等噪声，降低了合成后的图像质量。

发明内容

为解决上述现有技术中所存在的角度超分辨率后的光场图像图像质量降低等问题，本发明提供了融合光场子孔径图像与宏像素图像的角度超分辨率方法，能够有效提升角度超分辨率后光场图像的图像质量。

为了实现上述技术目的，本发明提供了如下技术方案：

融合光场子孔径图像与宏像素图像的角度超分辨率方法，包括：

获取初始图像，提取子孔径图像阵列Y通道信息，其中所述初始图像为低角度分辨率光场图像；

对所述子孔径图像阵列Y通道信息进行处理，获取第一高角度分辨率子孔径图像阵列Y通道信息；

将所述子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于所述宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；

对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联处理，并对级联后的数据进行维度还原，得到级联数据；

对级联数据进行处理，得到高角度分辨率子孔径图像阵列Y通道残差信息；

基于所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果，获取最终高角度分辨率子孔径图像阵列Y通道信息；

提取子孔径图像阵列U通道信息及V通道信息，基于所述子孔径图像阵列U通道信息及V通道信息及所述最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。