[发明专利]全知型视频超分辨率网络、视频超分辨率重建方法及系统

权利要求书

1.一种全知型视频超分辨率网络，其特征在于：由先驱网络和后继网络两个子网络组成；

根据先驱网络和后继网络的处理方向，全知型视频超分辨率网络分为局部全知型视频超分辨率网络和全局全知型视频超分辨率网络；

所述局部全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相同的，均为前向；所述局部全知型视频超分辨率网络的先驱网络的处理过程为：

其中，表示上一时刻、当前时刻和下一时刻的低分辨率视频帧，为上一时刻的隐状态，Net_p表示先驱网络，为当前时刻的隐状态，为当前时刻先驱网络产生的超分辨率视频帧结构信息；

所述全局全知型视频超分辨率网络的先驱网络和后继网络的处理方向是相反的，其中先驱网络的方向是后向，后继网络则是前向；全局全知型视频超分辨率网络的先驱网络的处理过程为：

所述后继网络的处理过程为：

其中是当前时刻和下一时刻的先驱网络产生的隐状态，而则是后继网络本身产生的上一时刻的隐状态，Net_s表示后继网络，为当前时刻的隐状态，而则是当前时刻后继网络产生的超分辨率视频帧细节信息。

2.一种视频超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为全知型视频超分辨率网络的输入；

步骤2：若全知型视频超分辨率网络为局部全知型视频超分辨率网络，则将低分辨率帧依前向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

若全知型视频超分辨率网络为全局全知型视频超分辨率网络，则将低分辨率帧依后向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

步骤3：将低分辨率帧，以及步骤2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；

步骤4：将步骤2和步骤3中生成的高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。

3.根据权利要求2所述的视频超分辨率重建方法，其特征在于，步骤4中，将先驱网络和后继网络产生的超分辨率视频帧相加，得到最终的超分辨率视频帧输出为：

其中，为最终的超分辨率视频帧输出，表示后继网络生成的高分辨率视频帧细节信息，表示先驱网络生成的高分辨率视频帧结构信息。

4.根据权利要求2或3所述的视频超分辨率重建方法，其特征在于：构建损失函数分别约束先驱网络和全知型视频超分辨率网络，优化全知型视频超分辨率网络的性能；

构建损失函数为：

式中，表示真实的高分辨率视频帧，表示最终生成的超分辨率视频帧，而表示先驱网络生成的高分辨率视频帧结构信息；T为帧数，ε为一个较小的常数；而α为权重，用于调节先驱网络的比重。

5.一种视频超分辨率重建系统，其特征在于，包括以下模块：

模块1，用于选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为全知型视频超分辨率网络的输入；

模块2，用于若全知型视频超分辨率网络为局部全知型视频超分辨率网络，则将低分辨率帧依前向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

若全知型视频超分辨率网络为全局全知型视频超分辨率网络，则将低分辨率帧依后向输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；

模块3，用于将低分辨率帧，以及模块2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；

模块4，用于将模块2和模块3中生成的高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。