[发明专利]一种快速光场角度超分辨重建方法

说明书

本发明公开了一种快速光场角度超分辨重建方法，根据预设视角的位置，确定两个输入视角图像；将所述两个输入视角图像输入已训练的图像重建网络，通过所述图像重建网络对所述两个输入视角图像进行处理，得到新视角图像；所述新视角图像的视角与所述两个输入视角图像的视角仅存在水平方向视差。由于每张新视角图像只采用了两个视角图像作为输入且两个输入视角图像与新视角图像仅存在水平视差，从而在保证新视角图像质量的同时提高了图像的重建速度，节省运算资源。同时，本发明可以重建任意位置的新视角图像。

技术领域

本发明涉及光场成像领域，尤其涉及一种快速光场角度超分辨重建方法。

背景技术

光场相机可以一次拍摄记录多个视角图像，光场图像的空间分辨率和角度分辨率存在折衷，因此需要研究如何在保证高空间分辨率的同时提高光场的角度分辨率。

光场角度超分辨重建也叫光场新视角合成。传统的光场角度超分辨重建方法可以分为两种，第一种方法是采用深度估计算法，先获得准确的深度图，然后将已知视角图像映射到新视角位置重建新视角；第二种方法是把光场角度超分辨重建看作是全光函数的采样和重建，把已知视角图像的每个像素被看作是高维全光函数的采样。然而，以上两种方法容易受到非朗伯表面的影响。近年来，深度学习在图像降噪、超分辨率、去模糊等方面取得巨大进展，卷积神经网络(CNN)在光场角度超分辨重建领域的应用也开始出现。Yoon等首次将卷积神经网络应用于光场角度超分辨重建，该方法利用相邻多视角图像之间的信息重建新视角图像，但只能重建相邻视角的中间视角图像，不能在任意位置重建新视角图像。Kalantari等提出基于学习的光场新视角重建方法，该方法虽然提高了重建视角的质量，但是由于合成每张新视角都需要4张输入视角图像，导致合成视角速度慢。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种快速光场角度超分辨重建方法，旨在保证重建的新视角图像质量的同时，提高重建速度，节省运算资源。根据视图插值的几何原理，根据视差信息可以获得两个视图的中间视图。因此通过对输入视角进行选择，使得每张新视角图像的合成仅需要两个输入视角图像，以此来减少计算量，提高新视角的合成速度。

本发明的技术方案如下：

一种快速光场角度超分辨重建方法，其中，包括步骤：

根据预设视角图像的位置，获取两个输入视角图像；其中，所述预设视角与所述两个输入视角图像对应的输入视角仅存在水平方向视差；

将所述两个输入视角图像输入已训练的图像重建网络，通过所述图像重建网络对所述两个输入视角图像进行处理，得到新视角图像；

其中，所述新视角图像对应的视角为预设视角。

所述的快速光场角度超分辨重建方法，其中，所述预设视角的位置在两个所述输入视角之间或为两个输入视角的位置。

所述的快速光场角度超分辨重建方法，其中，所述已训练的图像重建网络包括已训练的深度估计网络和已训练的颜色估计网络，所述通过所述图像重建网络对所述两个输入视角图像进行处理，得到新视角图像，包括：

将所述两个输入视角图像输入已训练的深度估计网络，通过所述已训练的深度估计网络得到新视角图像的深度信息；

将所述新视角图像的深度信息以及所述两个输入视角图像输入所述已训练的颜色估计网络，通过所述已训练的颜色估计网络得到新视角图像。

所述的快速光场角度超分辨重建方法，其中，所述深度估计网络包括已训练的第一卷积神经网络，所述通过所述深度估计网络得到新视角图像的深度信息，包括：

根据所述预设视角与所述输入视角的最大视差范围，预设若干个深度等级；