[发明专利]一种图像去雨方法和装置

权利要求书

1.一种图像去雨方法，其特征在于，包括：

利用编码器网络输出有雨图像的编码特征图像；

根据所述编码特征图像利用包括多层转置卷积层的注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；

根据所述编码特征图像以及注意力特征图像利用包括多层转置卷积点乘层的解码器网络输出所述有雨图像的去雨图像：

将所述有雨图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；

所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；

所述解码器网络中最后一层转置卷积点乘层的输出为所述有雨图像的去雨图像。

2.根据权利要求1所述的方法，其特征在于，所述编码器网络、注意力模型和解码器网络组成的图像去雨模型的训练方法如下：

获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；

将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码图像；

根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

3.根据权利要求2所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：

将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数；

根据所述图像去雨模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的指示有雨区域的注意力掩码的差异，调整所述注意力模型的参数。

4.根据权利要求3所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：

将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；

根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；

在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。

5.根据权利要求1-4任一所述的方法，其特征在于，所述编码器网络包括多层卷积层；以及

所述利用编码器网络输出有雨图像的编码特征图像，具体包括：

将所述有雨图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；

当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；

最后一层卷积层的输出为所述有雨图像的编码特征图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述编码特征图像利用包括多层转置卷积层的注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像，具体包括：

将所述有雨图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转置卷积运算输出该层的注意力特征图像；

所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；

所述注意力模型中最后一层转置卷积层的输出为所述有雨图像的指示有雨区域的注意力特征图像。