[发明专利]一种基于多尺度和非局部的轻量去雨方法

说明书

本发明公开了一种基于多尺度和非局部的轻量去雨方法，所述方法包括：构建由初始模块和ConvLSTM模块组成的粗融合网络；构建由基于纵横交错关注技术的特征提取模块和重构模块组成的精融合网络；通过有雨图像数据库训练粗融合网络和精融合网络，使用均方差误差损失和感知损失对预测出的去雨图像计算损失值；利用反向传播机制更新网络参数，获取基于多尺度和非局部的轻量去雨模型，基于轻量去雨模型对有雨图像进行处理。本发明通过构建多尺度特征金字塔结构和ConvLSTM模块实现雨线特征信息的粗提取和融合；同时利用基于纵横交错关注技术的特征提取模块从远程依赖中捕获上下文信息，使得残差图像R更为高效和准确地生成，以取得高质量的去雨图像。

技术领域

本发明涉及深度学习和计算机视觉领域，尤其涉及一种基于多尺度和非局部的轻量去雨方法。

背景技术

阴雨天是最为常见的恶劣天气，其中复杂多变的雨线会使摄像机所捕获的图像受到不同程度地降质，从而导致视觉效果下降。此外，降质的图像将大大降低计算机视觉任务的性能，例如基于图像的物体分类，检测和分割。目前，去雨的方法大致可分成两类：一类是基于字典学习和稀疏编码的传统方法；另一类是深度学习方法。与深度学习方法相比，传统方法所获得的去雨图像更为平滑和模糊，导致去雨图像质量不佳。在图像去雨这一领域中，深度学习方法逐渐普及开来，并且具有十分广阔的前景。在恶劣天气下，摄像机拍摄的图像质量很差，进而严重影响真实场景的应用，例如：无人驾驶和安防监控等。因此，在恶劣天气条件下恢复高质量的去雨图像尤其重要。

现有的去雨算法主要依据一种线性叠加模型^[1,2]对图像进行建模：

Y＝X+R                   (1)

其中，Y表示有雨图像，X表示无雨图像，R表示残差图像(雨线分量)。

目前，采用深度学习的单图像去雨算法大都通过设计不同的网络结构，并采用监督学习的方法将人工合成的有雨图像Y和无雨图像X作为训练集，利用反向传播机制更新网络参数，使网络自行端到端地学习出从有雨图像Y到无雨图像X的复杂函数关系。2017年，Fu等人^[3]第一次成功地利用深度学习方法实现单图像去雨。随后，Fu等人^[4]受到深度残差网络的启发，提出了深度细节网络并进一步提升了去雨图像的质量。为了进一步提升去雨图像的质量，Li等人^[5]提出了基于非局部思想的单图像去雨网络结构，也取得了不错的成果。

上述基于深度学习的单图像去雨算法，虽然能够去除大部分的雨线，但因为没有考虑到有雨图像中不同雨线之间的相似性特征，从而导致去雨图像的质量不高。此外，现有的采用传统非局部方法的去雨算法计算量较大，导致整个去雨过程耗时较长。

参考文献：

[1]Kang L W,Lin C W,Fu Y H.Automatic Single-Image-Based Rain StreaksRemoval via Image Decomposition[J].IEEE Transactions on Image Processing,2012,21(4):1742-1755.

[2]Chen Y L,Hsu C T.A Generalized Low-Rank Appearance Model forSpatio-temporally Correlated Rain Streaks[C]//Proceedings ofthe 2013IEEEInternational Conference on Computer Vision.Sydney,Australia,2013:1968-1975.