[发明专利]一种提高视频空间分辨率的方法

说明书

本发明属于视频编辑技术领域，具体为一种提高视频空间分辨率的方法。视频超分是计算机视觉领域的一个重要分支，它利用视频每一帧内的局部关联信息以及相邻帧之间包含的相关信息来重构具有更高分辨率的视频。本发明方法不仅考虑当前帧内部像素的局部冗余信息，还结合前后相邻帧时间维度的关联性获得低分辨率视频中丢失的高频细节信息恢复原始视频帧的内容，达到了增强视频分辨率丰富细节纹理的效果。实验结果表明，本方法较好地实现了视频分辨率的提升，使得视频具有更加清晰的视觉质量、更丰富的内容及更高的研究应用价值。

技术领域

本发明属于视频编辑技术领域，具体涉及一种视频超分，更具体地涉及提高视频空间分辨率的方法。

背景技术

传统的视频超分技术基本是作为传统的图像超分技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代视频处理技术。

视频分辨率是视频质量的重要指标，分辨率越高，细节越精细，质量越佳，视频提供的信息越丰富。因此高分辨率视频在各个领域有着重要的应用价值及研究前景。但由于视频在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取高分辨率视频最直接的方法是使用高分辨率相机，但由于成本问题，实际情况下许多应用并没有条件使用高分辨率相机。而视频超分技术采用基于信号处理的方法提高视频分辨率，是一种有效提高视频分辨率、改善视频性能的途径，并且该方法成本低，因此对高效高质量的视频超分技术的研究显得更加重要。

视频超分不是简单的扩大视频尺寸，它产生了新的包含更有价值信息的视频。目前，这类视频超分技术在生物医学、航空研究、军事应用、视频监控、视频格式转换、视频增强和复原(如老旧电影的翻制)、显微成像、虚拟现实等领域都表现出巨大的应用潜力。

本发明方法涉及视频超分技术，是在已有的低分辨率视频的基础上通过利用视频每帧内的局部信息及相邻帧间的关联信息，重构出内容更丰富、细节更清晰的视频帧，生成分辨率更高的视频序列。视频超分技术的主要思想是采用一定的算法，从低分辨率的视频序列重构出高分辨率视频序列，从而使获得的视频明显减少模糊、噪声等瑕疵而具有更丰富的高频细节及纹理信息而表现出更好的视觉质量，这类视频超分技术是计算机视频处理领域的一个基本问题。

视频超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率视频到高分辨率视频的映射上有许多解，并且这类方法仅使用低分辨率视频的信息，因此很难模拟真实视频的视觉复杂性，对于纹理复杂、平滑着色的视频，插值法很可能生成不真实的效果。不能很好地重构出高分辨率视频。

因此超分需要很强的先验来约束解空间，最近大多数较好的方法多采用基于实例的策略来学习强大的先验知识。该方法通过找到多个低分辨率碎片与高分辨率碎片间的对应关系，为每个低分辨率碎片在低分辨率视频帧中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个低分辨率片和权值参数来生成高分辨率片形成高分辨率视频。该方法的不足是会损失视频中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。

近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN^[1]及VDSR^[3]方法最具代表性。通过对视频每一帧采用这些方法可以简单地将图像超分扩展到视频超分领域。

C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习低分辨率和高分辨率图像间的映射关系来重建高分辨率图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。