[发明专利]全知型视频超分辨率网络、视频超分辨率重建方法及系统

说明书

本发明公开了一种全知型视频超分辨率网络、视频超分辨率重建方法及系统，全知型视频超分辨率网络，由先驱网络和后继网络两个子网络组成；本发明首先选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为网络的输入；然后根据全知型视频超分辨率框架的类型，将低分辨率帧依前向(局部全知型)或是后向(全局全知型)输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；接着将低分辨率帧，以及步骤2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；最后将高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。

技术领域

本发明属于数字图像处理技术领域，涉及一种全知型视频超分辨率网络、视频超分辨率重建方法及系统。

背景技术

近年来，随着科技的发展，视频已经成为人们生活中越来越重要的信息载体。然而，受到硬件设备和流量带宽的限制，高分辨率的视频普及程度仍然有限。视频超分辨率技术能从低分辨率的视频重建出对应的高分辨率视频，广泛应用于视频监控、卫星遥感、视频会议等领域。

现存的国际领先的视频超分辨率方法大多专注于设计更加复杂的网络结构，以更好地拟合低分辨率空间到高分辨率空间的映射关系，却忽略了视频超分辨率框架的设计。然而，框架是视频超分辨率算法的基石，对于同样的一个网络模型，较差的框架不能完全挖掘出该模型的潜力，而一个好的框架则能充分发挥出它的性能。

现有的视频超分辨率网络框架可以概括为三种：迭代型网络框架，循环型网络框架，以及混合型网络框架。迭代型网络框架只考虑将低分辨率视频帧作为处理对象，根据给定的中心帧，它利用其周围的视频帧(通常取前后各1到3帧)来生成中心高分辨率视频帧，并以一种滑动窗口的方式迭代地处理整个视频序列。循环型网络框架采用过去和当前的低分辨率帧，以及过去的超分辨率结果作为信息来源，然而却忽视了未来的低分辨率帧。混合型网络框架则整合了这二者的对象信息，但仍然没有全面囊括蕴含在视频序列中的信息来源。

发明内容

为了解决上述技术问题，本发明提供了一种全知型视频超分辨率网络、视频超分辨率重建方法及系统。核心思想在于将过去、现在及未来的低分辨率视频帧以及超分过程中产生的中间结果(隐状态)作为信息来源，以充分挖掘蕴含在视频序列中的时空域相关信息。

本发明提供的一种全知型视频超分辨率网络，由先驱网络和后继网络两个子网络组成；

根据先驱网络和后继网络的处理方向，全知型视频超分辨率网络分为局部全知型视频超分辨率网络和全局全知型视频超分辨率网络；

所述局部全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相同的，均为前向；所述局部全知型视频超分辨率网络的先驱网络的处理过程为：

其中，表示上一时刻、当前时刻和下一时刻的低分辨率视频帧，为上一时刻的隐状态，Net_p表示先驱网络，为当前时刻的隐状态，为当前时刻先驱网络产生的超分辨率视频帧结构信息；

所述全局全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相反的，其中先驱网络的方向是后向，后继网络则是前向；全局全知型视频超分辨率网络的先驱网络的处理过程为：

所述后继网络的处理过程为：

其中是当前时刻和下一时刻的先驱网络产生的隐状态，而则是后继网络本身产生的上一时刻的隐状态，Net_s表示后继网络，为当前时刻的隐状态，而则是当前时刻后继网络产生的超分辨率视频帧细节信息。

本发明的方法所采用的技术方案是：一种视频超分辨率重建方法，包括以下步骤：