[发明专利]基于多尺度局部自注意力的视频超分辨率重建方法及系统

权利要求书

1.基于多尺度局部自注意力的视频超分辨率重建方法，其特征在于，包括以下步骤：

S1:构建低分辨率视频帧序列数据集，并划分为训练集和测试集；

S2:通过光流预测网络预测低分辨率视频帧序列输入中相邻帧之间的双向光流信息；

S3:构建视频超分辨率重建网络，视频超分辨率重建网络包括特征提取模块、多尺度深层特征提取模块和上采样重建模块，其中，特征提取模块用于从输入的低分辨率视频帧序列中提取视频帧的浅层特征，多尺度深层特征提取模块用于基于浅层特征得到深层特征图，上采样重建模块用于重建低分辨率视频序列，得到高分辨率视频序列；

S4:基于数据集和所述双向光流信息训练视频超分辨率重建网络；

S5:将需要超分辨率重建的视频序列输入到训练后得到的视频超分辨率重建网络中，即可得到超分辨率重建后的视频序列。

2.根据权利要求1所述的基于多尺度局部自注意力的视频超分辨率重建方法，其特征在于，步骤S2中，将低分辨率视频帧序列以正向和反向分别输入光流预测网络，得到双向光流信息flow_forward，flow_backward，flow_forward代表序列中未来时刻指向过去时刻的光流信息，flow_backward则代表过去指向未来的光流信息，并且通过下采样输出多个尺度的光流信息。

3.根据权利要求1所述的基于多尺度局部自注意力的视频超分辨率重建方法，其特征在于，多尺度深层特征提取模块包括级联的多个编码器和与编码器数量相等的多个解码器，编码器逐步下采样获取多尺度的特征图，而后解码器逐步上采样恢复特征图的大小。

4.根据权利要求3所述的基于多尺度局部自注意力的视频超分辨率重建方法，其特征在于，每个编码器和解码器均包括局部自注意力模块和光流对齐模块，局部自注意力模块中的操作步骤包括：

将输入的视频帧浅层特征图分为p_H×p_W分辨率且不重叠的小图像块，得到：

式中，x_unfold代表分割后的不同时间和空间上的小图像块构成的张量，H，W分别代表高度和宽度，B代表并行处理批次大小，T代表单次输入视频序列长度，C代表通道数；

将相邻小图块划分到数个不重叠的局部窗口，得到：

式中，x_local代表分割后的局部窗口构成的张量，L_T代表时间维度上的窗口范围，L_H、L_W分别代表空间窗口的高度和宽度；

将张量x_local分别输入三个独立的线性层Query，Key，Value，得到三个特征图：

Q＝Query(x_local)，K＝Key(x_local)，V＝Value(x_local)

式中，且分别代表经过对应线性层线性变换后的特征图，代表线性变换后的特征图批次大小，N′＝L_T×L_H×L_W表局部窗口内的小图块数目，C′＝C×p_H×p_W代表线性变换后特征图的通道数；

计算局部区域内的小图块自注意力，并融合相似图块：

式中，x_sa代表经过局部自注意力融合后得到的特征图。

将融合后得到的特征图x_sa重组拼接成原来的分辨率，得到恢复分辨率后的特征图x_fold。

5.根据权利要求4所述的基于多尺度局部自注意力的视频超分辨率重建方法，其特征在于，光流对齐模块包括前向对齐模块和后向对齐模块，光流对齐模块中的操作包括：

利用双向光流信息flow_forward，flow_backward对恢复分辨率后的特征图x_fold分别进行相邻帧对齐操作；

将对齐后的结果分别通过残差模块进行处理；

融合前向对齐模块和后向对齐模块的结果。