[发明专利]基于改进可变形卷积校正的视频时空超分辨率方法和装置

权利要求书

1.一种基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，包括以下步骤：

构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络，其中，帧间校正模块包括若干个不同空间尺度的改进可变形卷积校正分支和融合单元，每个改进可变形卷积校正分支用于根据相邻视频帧计算的光流估计和偏移参数经可变性卷积得到分支中间帧特征图，融合单元用于融合所有分支中间帧特征图，得到最终的中间帧特征图；

对视频时空超分辨率进行网络参数优化后备用；

应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。

2.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述特征提取模块包括至少1个卷积层和若干个残差块，用于提取低分辨率视频帧的多通道特征图，其中，残差块包括卷积层、线性整流函数和点加操作。

3.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，每个改进可变形卷积校正分支对应唯一的空间尺度，包括改进可变形卷积校正单元和偏移参数计算单元，其中，偏移参数计算单元用于根据相邻视频帧的特征图和光流信息经过多次卷积操作获得可变性卷积偏移参数，改进可变形卷积校正单元用于根据相邻视频帧计算光流信息后，根据光流信息确定可变性卷积偏移的基底后，根据可变性卷积偏移参数和对应的基底，经过可变性卷积获得与空间尺度对应的分支中间帧特征图。

4.如权利要求3所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述偏移参数计算单元包括3个卷积层，相邻视频帧的特征图拼接后输入至第一卷积层获得第一卷积结果，第一卷积结果与相邻改进可变形卷积校正分支的偏移参数计算单元计算的可变性卷积偏移参数拼接后输入至第二卷积层获得第二卷积结果，第二卷积结果与相邻视频帧间的光流信息拼接后输入至第三卷积，经卷积操作获得当前分支的可变性卷积偏移。

5.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述融合单元复用相邻视频帧间的光流信息，该光流信息经过多次不同尺度的卷积操作后，生成与每个可变形卷积校正分支对应，且与对应可变形卷积校正分支的空间尺度相同的注意力图，每个可变形卷积校正分支的分支中间帧特征图与注意力图点乘后获得点乘结果，所有分支的点乘结果维度拼接后经过卷积层下采样后输出与输入视频帧特征图空间尺度相同的中间帧特征图。

6.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述图像重建模块包括可变形长短时记忆网络和若干个残差块，其中，可变形长短时记忆网络用于根据输入的相邻视频帧的特征图和中间帧特征图输出各帧的高层特征图，各帧的高层特征图分贝输入权重共享的残差块组中，输出与高层特征图对应的高分辨率高帧率的图像，组成图像序列。

7.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，对视频时空超分辨率进行网络参数优化前，构建训练样本，具体过程为：

将高分辨率高帧率视频序列切边，保证空间分辨率为目标缩放倍数的整数倍；若序列帧数为偶数，则丢弃最后一帧；预处理后的高分辨率高帧率视频序列作为网络训练目标；

按目标缩放倍数下采样生成低分辨率高帧率视频序列；选取其中奇数帧的低分辨率图像作为网络输入，对应的真实高分辨率图像为监督数据，选取其中偶数帧的低分辨率图像用于合成中间帧的监督数据。

8.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，对视频时空超分辨率进行网络参数优化时，损失函数包括两部分，第一部分是奇数帧的低分辨率图像对应的生成高分辨率图像与真实高分辨率图像之间的损失，第二部分是偶数的低分辨率图像的特征图与帧间校正模块生成的中间帧特征图之间的损失。

9.一种基于改进可变形卷积校正的视频时空超分辨率装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时实现权利要求1～8任一项所述的基于改进可变形卷积校正的视频时空超分辨率方法。