[发明专利]一种图像去雨方法和装置

说明书

本发明公开了一种图像去雨方法和装置，所述方法包括：利用编码器网络输出有雨图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。应用本发明可以更有效地去除图像中的雨滴，更好地保留图像原始信息，提高去雨图像质量。

技术领域

本发明涉及图像处理领域，特别是指一种图像去雨方法和装置。

背景技术

对图片和视频的去雨研究是计算机视觉和图像处理领域的一个重要课题。恶劣的天气条件会造成一系列可见度下降，改变图像的内容和颜色。这样的信号失真和细节损失导致许多应用于室外的计算机视觉应用失败，这些计算机视觉应用通常以高质量的图像作为输入。而图像中的雨滴会在图像小区域内造成严重的强度波动，从而造成图像的模糊，使得有雨图像无法应用于众多计算机视觉应用。因此，对图像去雨的研究具有重要的现实意义。

现有的图像去雨的方法主要有三种：1.基于图像处理知识的去雨方法；2.基于稀疏编码、字典学习的去雨方法；3.基于深度学习的去雨方法。

根据有雨图像的物理模型，有雨图像可以看作两层:无雨层和雨水层，将雨水层从原图像中分离出来，留下无雨层就可以得到去雨的图像。大多数现有的方法都是使用低级图像特征将雨水层与原始图像分开，存在无法完全去雨，不能很好地保留原始图像结构内容信息，去雨后图像模糊等问题。

发明内容

本发明提出了一种图像去雨方法和装置，可以更有效地去除图像中的雨滴，更好地保留图像原始信息，提高去雨图像质量。

基于上述目的，本发明提供一种图像去雨方法，包括：

利用编码器网络输出有雨图像的编码特征图像；

根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；

根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。

其中，所述编码器网络、注意力模型和解码器网络组成的图像去雨模型的训练方法如下：

获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；

将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码图像；

根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

其中，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：

将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数；

根据所述图像去雨模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的指示有雨区域的注意力掩码的差异，调整所述注意力模型的参数。

较佳地，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：

将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；

根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；

在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。

其中，所述编码器网络包括多层卷积层；以及