[发明专利]一种基于残差学习及空间变换网络的光场超分辨率重建方法

说明书

一种基于残差学习及空间变换网络的光场超分辨率重建方法属于计算机视觉领域。本发明根据光场图像空间分辨率低的问题对图像进行超分辨率重建，首先设计了4+1的融合模型来学习光场图像的特征，此外，为了更好的提取特征，本发明将空间变换网络的定位器进行了改进。在具体操作中，将图像按照相对位置分别输入到改进的空间变换网络中，通过递归结构的卷积神经网络进行特征重建与融合，期间充分利用了相邻视图的特征信息，弥补了其他方法对相邻视点信息利用的不足，配合先进的网络结构设计，使得模型具有更好的重建效果。

技术领域

本发明基于深度学习技术，研究了一种光场图像的超分辨率重建方法，利用空间变换网络STN(Spatial Transformer Networks)和递归学习的方法，本发明首先对光场图像进行2D子视点图像的提取，对其进行下采样处理，然后将目标相邻视点图像的低分辨率视图分别按照相对角度输入到改进后的空间变换网络中进行特征提取，之后得到目标图像的近似图，然后将目标图像进行上采样并进行卷积计算，将各路得到的结果放入递归结构的卷积神经网络中进行特征的学习，在光场公开数据集上进行训练，从而最终获得目标视图的高分辨率图像。本发明属于计算机视觉领域，涉及深度学习，光场图像处理，超分辨率重建等技术。

背景技术

作为革命性的成像技术，光场成像受到了学术界以及工业界的重点关注，特别是随着商用全光相机的出现以及最近在虚拟现实(VR)和增强现实(AR)领域的贡献。通过在主透镜和图像传感器之间插入微透镜阵列等附加光学组件的方法，全光相机能够捕获真实场景中光线的强度和方向信息，且其丰富的光线信息远超传统成像方法，结合计算成像技术可以实现多视点成像、全对焦成像、深度估计等功能。对于图像采集来讲，由于光场图像补充了(θ，Φ)角度维度的信息，使得成像可以克服只有一个平面清晰成像的特点，这极大促进了大场景下AI识别任务的研究进程。对于渲染显示方面来讲，(θ，Φ)维度信息的增加，使得渲染物体的各向异性光线得到补充，显得更加逼真，好莱坞电影渲染任务许多也采用了光场/反光场技术。

随着光场成像的发展，光场图像应用的一个主要障碍是图像中光线记录信息的表达效率不高，并且由于传感器分辨率的限制，光场图像的分辨率等于角分辨率与空间分辨率的乘积，本质上是以牺牲空间分辨率作为获得角分辨率的方式，因此角分辨率和空间分辨率之间的相互掣肘问题愈发突显，以实验数据集来讲，得到的子图像分辨率只有544*376，将分辨率提升2倍或者4倍后，得到的图像质量很差，其他方法得到的结果并不理想，因为它们没有有效的利用光场图像视点相关的特性，光场中存储了大量关于同一场景中光线的冗余信息，视图间关联性很强，本发明充分利用相邻视图的信息，通过对光场图像进行超分辨率重建的方法，提高了光场图像的空间分辨率，从而提高了光场图像的总分辨率。

传统超分辨率重建的方法有插值法、基于重建的方法，其中插值法常用的有最近邻插值法、双线性插值法、双三次插值法，基于传统插值的方法通常得到的重建图像过于平滑，提供图像的细节信息有限，高频信息丢失严重，而基于重建的图像超分辨率方法通常都是基于多帧图像的，需要结合先验知识，应用场景有限且不灵活，故本发明采用基于学习的先进的卷积神经网络方法对光场图像进行超分辨率重建。

深度学习作为近几年模式识别和图像处理等问题中的研究热点，越来越受到人们的关注。其中卷积神经网络(Convolutional Neural Network,CNN)在图像分类和目标检测中展现了出色的效果，深层次的神经元性的多参数网络有助于提取图像的细节特征，能有效的解决光场图像超分辨率重建中的细节恢复问题，但传统的基于学习的方法没有有效的利用光场图像相邻视点之间的信息，故采用传统的基于学习的卷积神经网络模型难以有效地完成对光场图像的超分辨率重建工作。