[发明专利]基于双向循环网络的高分辨率视频复原系统及方法

权利要求书

1.一种基于双向循环网络的高分辨率视频复原系统，其特征在于，包括：

正向循环模块，所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；

反向循环模块，所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；

融合单元，所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧；

其中，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：

利用卷积层对X_f进行浅层特征提取，获得浅层特征，其中，为第t帧参考帧，X_f表示正向输入特征，表示t-1时刻前向传播时的隐藏状态，表示t-1时刻前向传播时的输出状态，↓表示特征下采样；

将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分；

将重置信号r与进行点乘，并与级联得到新的中层特征

中层特征通过残差网络进行特征细化，获得细化后的特征h'_t-1；

将细化后的特征h'_t-1与u组合进行特征更新，获得输出分量和隐藏分量其中，和将作为输入进入下一个时刻的循环，作为第一输出分量，参与最终t时刻视频帧的复原过程；

其中，所述将细化后的特征h'_t-1与u组合进行特征更新，获得输出分量和隐藏分量包括：

计算uF，

通过卷积层和激活层对uF进行处理，获得隐藏分量

通过卷积层对uF进行处理，获得输出分量

2.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述残差网络包括多个残差块。

3.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述融合单元包括三个通道数为3的残差块。

4.一种基于双向循环网络的高分辨率视频复原方法，基于权利要求1-3任一项所述的高分辨率视频复原系统，其特征在于，包括以下步骤：

S1、进入正向循环模块，令帧数t＝1，初始化隐藏状态和输出状态采用第1帧的图像输入模拟第0帧的图像输入；

S2、每一个正向循环单元采用第t-1帧的图像、第t帧图像、和作为输入，获得正向输入特征X_f；采用卷积层对正向输入特征X_f进行浅层特征提取，得到对应的浅层特征F_fin；

S3、采用正向循环单元对浅层特征F_fin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态和输出状态

令t＝t+1,判断tk是否成立，若成立，则重复步骤S2，若不成立，则进入步骤S5，并初始化隐藏状态和输出状态采用第k帧的图像输入模拟第k+1帧的图像输入，其中，k为视频序列的总帧数；

S4、每一个反向循环单元采用第t帧的图像、第t+1帧图像、和作为输入，以级联的方式组合，获得反向输入特征X_b，采用卷积层对反向输入特征X_b进行浅层特征提取，得到对应的浅层特征F_bin；

S5、采用反向循环单元对浅层特征F_bin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态和输出状态令t＝t-1,判断t0是否成立，若成立，则重复S4，若不成立，则进入S6；

S6、融合正向循环的结果和反向循环的结果，复原获得高分辨率的视频序列。

5.根据权利要求4所述的基于双向循环网络的高分辨率视频复原方法，其特征在于，所述S6具体包括：

融合和复原获得高分辨率的视频序列。