[发明专利]基于神经网络的航拍图像去模糊算法

说明书

本发明公开了一种基于神经网络的航拍图像去模糊算法，首先利用图像的先验信息，采用基于稀疏与低秩先验的盲复原算法来估计出准确的模糊核，再通过基于卷积神经网络的非盲复原算法来复原出清晰的图像，能有效地恢复图像中的细节信息，同时控制图像的整体相似性和统一全局色差。本发明能够有效复原出模糊图像中的边缘和细节信息，包括如车辆、车牌、车道线和图像背景中的显著性边缘和细节纹理，同时对伪影和振铃效应有较好的抑制效果。

技术领域

本发明涉及一种基于神经网络的航拍图像去模糊算法，属于计算机视觉领域。

技术背景

无人机航拍时其自身飞行状态以及周围不可抗的环境因素的影响，无人机会出现成像降质的问题，其中最主要的问题是含噪声的运动模糊，这会极大地影响航拍图像后续的工程应用。现阶段，研究学者大都从已知点扩散函数模型的情况入手，解决无人机航拍图像存在的单方向运动模糊问题，但考虑到无人机不规则运动的因素，仅用某一种参数模型很难恢复原始清晰图像。随着神经网络的方法在计算机视觉领域取得较大的进展，该方法作为一种效率更高、泛化能力更强的方法被应用到图像的非盲去模糊中。神经网络解决了线性模型在真实应用中表达不全的问题，从而可以有效地复原图像中的丰富细节信息。

发明内容

本发明针对航拍过程中出现的相机噪声和运动模糊问题，提出一种基于神经网络的航拍图像去模糊算法，采用基于稀疏与低秩先验的图像盲复原算法来估计出准确的模糊核，然后采用基于卷积神经网络的非盲复原算法来得到细节丰富、边缘清晰的复原图像。

为解决上述技术问题，本发明采用如下技术方案：

一种基于神经网络的航拍图像去模糊算法，包括以下步骤：

1)无人机道路航拍模糊图像模糊核的估计：采用基于稀疏与低秩先验的图像盲复原来估计出模糊图像的模糊核；

2)基于卷积神经网络的航拍图像去模糊：采用改进的卷积神经网络，通过建立类残差结构，复原出图像中的细节信息，同时保证图像的整体相似性和统一全局色差。

在所述步骤1)中，无人机道路航拍模糊图像模糊核估计的具体流程为：

1)采用图像梯度先验滤除冗余信息；

2)通过图像显著性强度的稀疏性提取出潜像的显著性边缘，在迭代过程中利用中间潜像中的显著性边缘信息指导模糊核的估计；

3)利用图像金字塔分解图像，并在不同分辨率图像上交替迭代估计出模糊核，并在全分辨率图层上，得到准确的模糊核。

在所述步骤2)中，卷积神经网络的航拍图像去模糊的具体步骤为：

1)构建网络：采用改进的卷积神经网络，通过建立类残差结构，并在残差块之间建立短跳连接，能够自适应地处理图像层之间的细微变化，有效地复原出图像中的细节信息；通过连接输入层和输出层的长跳连接有效控制图像的整体相似性和统一全局色差；

2)预处理：对输入模糊图像进行预处理，从而降低网络训练的复杂性，使网络更快收敛；采用一次最简单的维纳滤波作为预处理来降低训练复杂性，可以使得网络输入在训练过程中不依赖于模糊核的精确形状，使得网络对盲卷积估计出的模糊核也能有较好的复原效果；

3)后处理：通过测试不同网络层数下(通道数固定为32)的PSNR值和训练时间来确定最适合的网络层数，减少网络层数可能无法有效地保留非常小的细节，在不增加层数的情况下解决此限制，增加一个后处理步骤，以减少细节信息的丢失问题；

4)模型训练：给定训练数据集{x_i,y_i}，学习可以预测价值的模型y＝f(x)，对于训练集中的数据真实清晰图像x，模糊图像y和卷积核k，训练模型为：

y＝f(x*k+b)

其中，b为偏置，f(·)为激活函数。