[发明专利]一种基于ER网络多帧图像去模糊系统及其方法

说明书

本发明涉及计算机视觉领域，具体是一种基于ER网络多帧图像去模糊系统，包括接受指令模块、指令生成模块、采集模块、清晰化处理模块；一种基于ER网络多帧图像去模糊方法，包括步骤一、退化模型的构建，步骤二、建立仿真数据集，步骤三、生成供训练的第一退化图像和第一退化图像序列，步骤四、利用ERnet神经网络模型进行第一退化图像序列的排序，并对ERnet神经网络模型的排序结果进行评估，步骤五、将多帧互补信息提取网络和时空注意力机制输出结果相加作为信息精细化网络的输入数据，步骤六，用户输入模糊目标图像，生成清晰目标图像；解决了大气湍流退化图像具有随机性，多帧之间具有较为明显的互补信息，同时多帧之间也具有随机的差异性问题。

技术领域

本发明涉及计算机视觉领域，具体是指一种基于ER网络多帧图像去模糊系统及其方法。

背景技术

退化图像的复原是计算机视觉领域的一个关键任务，是当前热门的研究问题，从复原方法角度可以分为非盲复原和盲复原，非盲复原已知图像退化的点扩散函数，结合模糊图像和正则化规则进行反解卷积，完全的盲复原算法是在模糊参数和噪声参数都未知的情况下进行图像复原，其输入仅仅只有退化图像，非盲复原需要预知点扩散函数或点扩散函数符合特定的先验分布，所以这类方法难以应用到真实图像的复原，从退化因素角度可以分为运动模糊，抖动模糊,失焦模糊，物理模糊,噪声干扰和大气湍流模糊，如前所述，大气湍流模糊的图像往往受到多种退化因素的影响，同时退化严重，其复原难度是最大的，从输入数据角度可分为单帧复原和多帧复原。多帧复原是输入连续的多帧图像，实现图像的复原，也可以用于视频复原。

求取清晰图像是一个非适定的反问题，难以直接求取得最优的唯一解，一种直观的方法是通过引入正则化先验，例如Tikhonov等，再通过优化算法求解方程得到清晰图像，这类方法在处理严重退化图像的复原问题时，存在模型过度简化，正则化规则难以确定的问题，使得算法稳定性差，甚至发生完全失败的现象，近年来，利用深度卷积神经网络(CNN)强大的表示学习能力进行图像复原的工作日益增多并取得了显著的效果，这类基于学习的方法实现图像复原，存在需要大量训练数据，模型泛化能力和可解释性差等问题，融合两者的优点进行退化图像复原也是解决问题的一种思路，一种方法是利用深度神经网络学习图像的先验，然后用于传统方法求解，另外一种方法是利用传统方法复原后利用深度神经网络增强图像的细节信息。

发明内容

基于以上问题，本发明提供了一种基于ER网络多帧图像去模糊系统及其方法，解决了大气湍流退化图像具有随机性，多帧之间具有较为明显的互补信息，同时多帧之间也具有随机的差异性问题。

为解决以上技术问题，本发明采用的技术方案如下：

一种基于ER网络多帧图像去模糊系统，包括

接受指令模块，用于接收用户创建的任务指令；

指令生成模块，用于用户创建任务指令；

采集模块，用于接收用户上传的模糊目标图像；

清晰化处理模块，用于将用户上传的模糊目标图像进行清晰化处理。

进一步，所述清晰化处理模块包括

退化模型，用于生成第一退化图像和第一退化图像序列；

ERnet神经网络模型，包括多帧互补信息提取网络、信息精细化网络和时空注意力机制，用于将第一退化图像进行排序，并生成新的第二退化序列；

退化特征抽取器，包含第一2D卷积层、第一最大池化层和第一flatten层，用于输出退化特征向量；

清晰特征抽取器，包含第二2D卷积层、第二最大池化层和第二flatten层，用于输出清晰特征向量；

退化图像生成器，用于输入退化特征向量后输出第二退化图像；