[发明专利]基于改进可变形卷积校正的视频时空超分辨率方法和装置

说明书

本发明公开了一种基于改进可变形卷积校正的视频时空超分辨率方法和装置，包括：构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络；对视频时空超分辨率进行网络参数优化后备用；应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用及图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。通过改进可变形卷积的模式、引入显式光流估计、注意力网络等技巧，使得帧间校正网络更好地胜任视频时空超分辨率任务，大大提升了复原效果。

技术领域

本发明涉及计算机科学图像处理领域，尤其涉及一种基于改进可变形卷积校正的视频时空超分辨率方法和装置。

背景技术

视频时空超分辨率是视频与超分辨率与视频帧插值两大视频处理领域基础问题的结合。近年来深度学习网络的快速发展为视频超分辨率与视频帧插值算法提供了一种高效的解决方案，如公布号为CN109102462A的专利申请公开的一种基于深度学习的视频超分辨率重建方法，再如公布号为CN104463793A的专利申请公开的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其系统。但是传统卷积网络较少有对一阶段同时完成视频时空超分辨率的方法进行研究。

在时空超分辨率问题中，中间帧缺少参考，且相邻输入帧为低分辨率时，对中间帧的运动估计相比尤为困难。尽管已有一些较新的研究尝试引入可变形卷积等方法改进帧间运动补偿效果，但是现有深度学习网络往往仍无法较好地同时对中间帧的位置与细节信息进行复原。传统的光流方法以预设比例建模中间帧与输入帧和两相邻输入帧的运动关系，缺乏自适应性。而近期兴起的基于可变形卷积的运动校正方法对运动较大的视频补偿效果较差，难以指代真实运动情况，存在泛化性能不足的问题。

发明内容

鉴于上述，本发明的目的是提供一种基于改进可变形卷积校正的视频时空超分辨率方法和装置。该方法和装置通过改进可变形卷积的模式、引入显式光流估计、注意力网络等技巧，使得帧间校正网络更好地胜任视频时空超分辨率任务，大大提升了复原效果。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种基于改进可变形卷积校正的视频时空超分辨率方法，包括以下步骤：

构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络，其中，帧间校正模块包括若干个不同空间尺度的改进可变形卷积校正分支和融合单元，每个改进可变形卷积校正分支用于根据相邻视频帧计算的光流估计和偏移参数经可变性卷积得到分支中间帧特征图，融合单元用于融合所有分支中间帧特征图，得到最终的中间帧特征图；

对视频时空超分辨率进行网络参数优化后备用；

应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用及图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。

优选地，所述特征提取模块包括至少1个卷积层和若干个残差块 (residualblock)，用于提取低分辨率视频帧的多通道特征图，其中，其中残差块按照残差学习策略设计，为特征提取模块堆叠网络深度的主要单元，包括卷积层、线性整流函数(ReLU)和点加操作。

优选地，每个改进可变形卷积校正分支对应唯一的空间尺度，包括改进可变形卷积校正单元和偏移参数计算单元，其中，偏移参数计算单元用于根据相邻视频帧的特征图和光流信息经过多次卷积操作获得可变性卷积偏移参数，改进可变形卷积校正单元用于根据相邻视频帧计算光流信息后，根据光流信息确定可变性卷积偏移的基底后，根据可变性卷积偏移参数和对应的基底，经过可变性卷积获得与空间尺度对应的分支中间帧特征图。