[发明专利]基于动态权重机制和时空特征增强的视频去模糊方法

权利要求书

1.一种基于动态权重机制和时空间特征增强的视频去模糊方法，其特征在于，具体步骤为：

(1)通过特征提取模块对模糊图像进行特征提取，得到图像特征：

(2)对提取的图像特征通过使用UNet结构进行时序上前向和后向的传播融合；

(3)通过构建空间特征增强模块，对经过传播融合后的图像特征进行增强；

(4)通过重建模块，对增强后的图像特征进行重建；

(5)对重建后的图像特征进行去模糊。

2.根据权利要求1所述的视频去模糊方法，其特征在于，步骤(1)中所述通过特征提取模块对模糊图像进行特征提取得到图像特征，具体流程为：把输入的每一帧模糊的图像分别依次经过卷积操作、2个通道注意力块、卷积操作，得到模糊图像的特征；其中的通道注意力块的具体流程为：依次经过卷积操作、激活函数、卷积操作处理，然后，分为两个子分支；其中一个子分支作为残差，在后面使用，另一个子分支依次经过：全局平均池化、卷积操作、激活函数、卷积操作、激活函数，然后通过sigmoid函数，得到注意力图；将其与前一子分支进行逐点相乘；最后，把原始的特征与当前处理的输出进行逐点相加，得到与输入相同的新图像特征。

3.根据权利要求2所述的视频去模糊方法，其特征在于，步骤(2)中，所述使用UNet结构包括使用前向的UNet结构和反向的UNet结构，传播相邻帧之间的特征信息；UNet结构在编码器、解码器部分分别输出三个不同尺度的特征，通道数分别为96,144,192；同时，在t时刻的编码器部分融合t-1时刻对应尺度的编码器和解码器的特征，并把t时刻的编码器、解码器的特征传递给t+1时刻，通过循环神经网络实现。

4.根据权利要求3所述的视频去模糊方法，其特征在于，步骤(3)中所述通过构建空间特征增强模块，对经过传播融合后的图像特征进行增强，具体流程为：对前向和后向UNet结构在编码器部分和解码器部分创建每个尺度的特征，然后分别进入时空特征增强模块，所述时空特征增强模块的操作由如下公式描述：

式中，分别表示在t时刻Encoder的第i个尺度的前向特征和后向特征，SFB(·)表示时空特征增强网络，表示增强后的特征；空间特征增强模块(SFB)是一个三分支的残差网络块；其中：

第一个分支，利用傅里叶变换，提取输入特征的实部和虚部；对特征的实部，依次进行如下操作：卷积操作，激活函数，卷积操作，再把虚部和处理过的实部在特征通道维度进行连接，经过逆傅里叶变换得到与输入特征尺度相同的图像特征；

第二个分支，把输入的图像特征首先进过局部的卷积，再依次经过卷积操作、激活函数、卷积操作；将得到的结果，分为两个子分支：其中一个子分支作为残差，供后面使用；另一个子分支依次经过：全局平均池化，卷积操作，激活函数，卷积操作，激活函数，再通过sigmoid函数，得到注意力图；将其与前一子分支进行逐点相乘；最后，把原始的特征与当前处理的输出进行逐点相加，得到与输入相同的新图像特征；

第三分支，是原始特征；

最后把三个分支的结果进行逐点加和，得到增强后的图像特征，其空间维度与输入维度相同。

5.根据权利要求4所述的视频去模糊方法，其特征在于，步骤(4)所述通过重建模块，对增强后的图像特征进行重建，具体流程为，把增强模块的输出结果输入到重建模块，重建模块是使用多尺度的融合方式重建特征，多尺度融合方式用如下公式(3)-(5)表述：

式中，表示不同尺度的重建特征，i＝1，2，3；Up()表示上采样操作，Conv表示卷积操作，Φ(B_t)表示对模糊帧B_t提取的特征。