[发明专利]一种对立体图像进行超分的方法

说明书

本发明属于图像编辑技术领域，具体为一种对立体图像进行超分的方法。本发明方法包括采用光流估计网络对左右图位置信息进行估计；采用图像超分网络重构出高分辨率图像；在重构立体图像中的左图时，不仅利用该图像内部像素的局部冗余和结构关联的特点，还结合该立体图像的左图和右图之间内容之间关联及互补的特性，获得更多的低分辨率左图中丢失的高频信息，以恢复原始图像的内容，达到了增强图像分辨率丰富细节纹理的效果。实验结果表明，本方法可有效提升立体图像的分辨率的提升，使得立体图像的具有更加清晰的视觉质量、更丰富的内容及更高的研究应用价值。

技术领域

本发明属于图像编辑技术领域，涉及一种图像超分方法，更具体的说，涉及一种对立体图像进行超分的方法。

背景技术

传统的图像超分技术基本是作为图像质量增强技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代图像处理技术。

图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,质量越佳，图像提供的信息越丰富。因此具有更高高分辨率的图像在各个领域都有着重要的应用价值及研究前景。但由于图像在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取高分辨率图像最直接的方法是使用高分辨率相机，但由于成本问题，实际情况下许多应用并没有条件使用高分辨率相机。而图像超分技术采用基于信号处理的方法提高图像分辨率，是一种有效提高图像分辨率、改善图像性能的途径，并且该方法成本低，因此对高效高质量的图像超分技术的研究显得更加重要。目前，通过从低质量的图像中重构出新的具有更丰富细节内容的高分辨率图像，图像超分技术在生物医学、航空研究、军事应用、图像监控、图像格式转换、图像增强和复原(如老旧电影的翻制)、显微成像、虚拟现实等领域都表现出巨大的应用潜力。

图像超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率图像到高分辨率图像的映射上有许多解，并且这类方法仅使用低分辨率图像的信息，因此很难模拟真实图像的视觉复杂性，对于纹理复杂、平滑着色的图像，插值法很可能生成不真实的效果。不能很好地重构出高分辨率图像。

因此超分需要很强的先验来约束解空间，最近大多数较好的方法多采用基于实例的策略来学习强大的先验知识。该方法通过找到多个低分辨率碎片与高分辨率碎片间的对应关系，为每个低分辨率碎片在低分辨率图像中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个低分辨率片和权值参数来生成高分辨率片形成高分辨率图像。该方法的不足是会损失图像中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。

近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN^[1]及VDSR^[3]方法最具代表性。通过对图像每一帧采用这些方法可以简单地将图像超分扩展到图像超分领域。

C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习低分辨率和高分辨率图像间的映射关系来重建高分辨率图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。

神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN^[2]方法，改进了神经网络的结构实现更快的超分效果。Kim J等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。随着卷积神经网络在超分领域实现不断提升的效果，更多的学者通过继续改进网络结构在超分结果的主观视觉质量及客观数值标准上得到不断突破。