[发明专利]一种基于时域相关性和运动补偿的视频超分辨率系统

说明书

一种基于时域相关性和运动补偿的视频超分辨率系统，涉及一种基于时域相关性和运动补偿的视频超分辨率方法。为了解决现有条件下高分辨率视频(如4K)录制成本高、编码传输与存储时间与空间成本高的问题；本发明首先对输入的低分辨率视频进行划分，将其分割为较短的图像组；然后在图像组中，利用视频的时域相关性，对其进行运动补偿操作，并利用参考帧的超分辨率结果完成当前帧的超分辨率操作；最后将得到的结果重组为高分辨率视频输出。本发明适用于视频的超分辨率操作。

技术领域

本发明涉及一种基于时域相关性和运动补偿的视频超分辨率方法。

背景技术

随着拍摄、显示及传播技术的发展，人们对图像及视频分辨率的要求也日益提高，4K视频的产生和推广便充分说明了这一点。4K分辨率是指水平分辨率达到约4000像素的一种视频规格，两种主要的4K分辨率标准如下：(1)DCI 4K分辨率标准，大小为4096x2160像素，常用于影视制作行业。(2)UHD-1，又称UHDTV标准，大小为3840x2160像素，常用于电视及其它多媒体行业。

世界上第一台可商用的4K摄影机诞生于2003年，YouTube也已经从2010年开始支持4K视频的上传。但直至今日，4K视频的拍摄依旧需要专门的设备，录制成本高昂，对4K视频进行编码传输的时间开销和带宽资源也数倍于1080p或720p视频。在这样的情况下，如果能够搭建一套系统，在保证一定输出质量的前提下将低分辨率视频超分辨率处理到4K，无疑是解决4K视频成本不菲问题的一种重要思路，并能进一步推动4K视频的普及和发展。

而现有的绝大多数超分辨率算法针对的均是单幅图像。在解决视频的超分辨率问题时，虽然也可以采用逐帧处理的方式，但这样做没有利用任何视频的有关特性(如：时域相关)，也势必会造成不必要的计算开销。同时，由于超分辨率问题本身的病态性，分别对每一帧图像进行超分辨率操作也可能导致输出视频的时域不一致性。

发明内容

本发明的目的是为了解决现有条件下高分辨率视频(如4K)录制成本高、编码传输与存储时间与空间成本高的问题，而提出了一种基于时域相关性和运动补偿的视频超分辨率方法。

一种基于时域相关性和运动补偿的视频超分辨率方法，其特征在于包括以下步骤：

步骤1、将输入低分辨率视频以一个固定间隔分割成图像组。

步骤2、利用视频的时域相关性和运动补偿算法进行图像组的超分辨率操作

步骤2.1、对每个图像组中的参考帧，利用双三次插值(bicubic)加图像锐化的方式进行超分辨率。进一步地，锐化可以用原始图像叠加其高频分量得到。因此，锐化算法可以表示为：

锐化后的图像＝原始图像+(原始图像-高斯模糊后的图像)

步骤2.2、对图像组中的剩余图像进行运动补偿操作，并利用参考帧的结果得到当前帧的超分辨率结果。

步骤3、将得到的超分辨率帧重组为输出高分辨率视频。

具体实施方式

一种基于时域相关性和运动补偿的视频超分辨率方法，其特征在于包括以下步骤：

步骤1、将输入低分辨率视频以一个固定间隔分割成图像组。

步骤2、利用视频的时域相关性和运动补偿算法进行图像组的超分辨率操作

步骤2.1、对每个图像组中的参考帧，利用双三次插值(bicubic)加图像锐化的方式进行超分辨率。进一步地，锐化可以用原始图像叠加其高频分量得到。因此，锐化算法可以表示为：

锐化后的图像＝原始图像+(原始图像-高斯模糊后的图像)

步骤2.2、对图像组中的剩余图像进行运动补偿操作，并利用参考帧的结果得到当前帧的超分辨率结果。