[发明专利]一种基于ER网络多帧图像去模糊系统及其方法

权利要求书

1.一种基于ER网络多帧图像去模糊系统，其特征在于：包括

接受指令模块，用于接收用户创建的任务指令；

指令生成模块，用于用户创建任务指令；

采集模块，用于接收用户上传的模糊目标图像；

清晰化处理模块，用于将用户上传的模糊目标图像进行清晰化处理；

所述清晰化处理模块包括：

退化模型，用于生成第一退化图像和第一退化图像序列；

ERnet神经网络模型，包括多帧互补信息提取网络、信息精细化网络和时空注意力机制，用于将第一退化图像进行排序，并生成新的第二退化序列；

退化特征抽取器，包含第一2D卷积层、第一最大池化层和第一flatten层，用于输出退化特征向量；

清晰特征抽取器，包含第二2D卷积层、第二最大池化层和第二flatten层，用于输出清晰特征向量；

退化图像生成器，用于输入退化特征向量后输出第二退化图像；

清晰图像生成器，用于输入清晰特征向量后输出与第二退化图像相对应的清晰图像；

多帧互补信息提取网络，包括第三3D卷积层、第四3D卷积层、3D转置卷积层、第三最大池化层和第一残差分解块，用于提取输入退化图像序列各帧的有效信息，并将有效信息融合成单通道特征图进行输出；

时空注意力机制，包括3D全局平局池化、3D全局最大池化、多个全连接层、第二残差分解块、第五3D卷积层、2D全局平局池化、2D全局最大池化和第三2D卷积层，用于加强输入退化图像序列的有效信息，并输出单通道特征图；

信息精细化网络，包括编码器、解码器、第三2D卷积层和第四2D卷积层，所述编码器包括4个第三残差分解块和相对应的4个下采样层，所述解码器包括4个上采样层和相对应的4个第四残差分解块，用于对多帧互补信息提取网络和时空注意力机制的输出进行修正。

2.一种基于ER网络多帧图像去模糊方法，采用上述一种基于ER网络多帧图像去模糊系统，其特征在于：包括

步骤一、退化模型的构建，包括如下步骤：

S11、构建大气湍流特性的点扩散函数PSF，公式如下：

PSF＝exp{-3.44(αfU/r)^5/3}；

其中，U表示频率，(u,v)表示单位脉冲，α表示波长，f表示光学系统的焦距，r表示弗里德参数；

S12、退化模型表示为：

y＝T(x*PSF+N)；

其中，N表示泊松噪声，*表示卷积操作，+表示求和操作，所述泊松噪声N受分布参数λ影响；

步骤二、由选取的若干张空间目标清晰图像组成仿真数据集；

步骤三、步骤二中的仿真数据集输入退化模型中生成供训练的第一退化图像和第一退化图像序列；

步骤四、将第一退化图像输入ERnet神经网络模型进行第一退化图像序列的排序，并生成第二图像序列，并对ERnet神经网络模型的排序结果进行评估；

步骤五、将第二退化图像序列输入多帧互补信息提取网络和时空注意力机制，所述多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据；

步骤六，用户输入模糊目标图像，生成清晰目标图像；

所述步骤三中，第一退化图像的生成方法具体包括

S31、在预设的固定退化范围内随机生成多组退化干扰，其中，预设退化范围为(r_x,r_y)、(λ_x,λ_y)，r在(r_x,r_y)中选取，λ在(λ_x,λ_y)中选取；

S32、预设输入的退化图像序列共有K帧，即在退化范围内随机生成K个PSF和噪声；

S33、将生成的K个PSF分别与空间目标清晰图像卷积得到对应的K帧空间目标模糊图像，将各帧空间目标模糊图像与对应的噪声相加，生成第一退化图像，并输出第一退化图像序列；

所述步骤四中，K组第一退化图像序列逐帧输入到ERnet神经网络模型，得到退化特征向量组dvec和清晰特征向量组svec，预设每组输入的退化图像序列共有l帧，用表示第k个退化特征向量组的第i个退化特征向量，用表示第k个清晰特征向量组的第j个清晰特征向量，其中，0kK，因此，每组清晰特征向量的平局值作为清晰度指标，公式为：

其中，svec_k表示第k个清晰特征向量组的平均值，将退化特征向量组中的每个退化特征向量与svec_k求欧几里得距离公式为：

其中，L₂表示欧几里得距离函数，将输入第一退化图像序列的顺序记为rank_inp，将ERnet神经网络模型的排序结果记为rank_outp，使用加权肯德尔距离衡量输入第一退化图像序列的顺序与ERnet神经网络模型的排序结果之间的差距，将加权肯德尔距离的平均值作为ERnet神经网络模型的评估结果，评估结果记为M_RN，公式为：

其中，τ为加权肯德尔距离函数。