[发明专利]雨天交通车辆图像去雨方法、装置、设备及可读存储介质

说明书

本发明公开了雨天交通车辆图像去雨方法、装置、设备及可读存储介质，自然环境光下，雨纹的大小和方向具有多样性，现有的单幅图像去雨算法采用普通卷积提取雨纹特征，特征图的感受野随着卷积层数的增加而呈线性增加，导致提取的细节信息与边缘信息丢失严重，本发明首先采用膨胀卷构造多尺度膨胀卷积融合模块，使不同大小和方向的雨纹特征取得不同的感受野，从而使得提取的特征信息更加丰富且不损失细节信息，其次引入注意力机制构造注意机制残差块，提取的注意特征能较好的实现复原图像的同时，能够将原来偏暗的背景图像中目标边缘特征增强，本发明方法可以有效的去除雨纹，避免丢失细节信息，为后续目标检测等计算机视觉任务奠定良好的基础。

技术领域

本发明属于图像处理技术领域，具体涉及雨天交通车辆图像去雨方法、装置、设备及可读存储介质。

背景技术

雨是最常见的恶劣天气，它极大地降低了背景图像的可见度，进而导致图像质量产生退化现象，这给后续计算机识别任务带来严重的挑战。因此成功消除雨天对图像造成的影响可以极大地提高计算机视觉系统的稳定性与精确度。

目前单幅图像去雨算法主要分为基于先验知识的传统方法和基于深度学习方法两大类。基于先验知识的算法又分为基于像素级先验的去雨算法和基于图像块先验的去雨算法。典型的基于像素级先验的去雨算法有基于引导滤波、双边滤波、非局部均值滤波等算法。这类算法具有较快的运行速度，但易造成图像的过度平滑。另一类是基于图像块先验的去雨算法，其思想是建立基于图像块的字典学习及稀疏表示模型。例如，基于图像块的字典学习模型、低秩模型、采用支持向量机和主成分分析法对雨纹进行判别并分类、利用高斯混合模型和基于块的先验去除雨纹等，但图像的细节信息丢失很严重，并且传统方法提取特征很复杂、效率低下。

随着深度学习技术在计算机视觉领域取得不同程度的成功，越来越多的研究者将深度学习技术应用于图像处理领域。深度学习方法避免了人工设计特征的复杂过程，能够提取丰富的特征。2019年，Ren等人提出渐进递归残差网络(Progressive RecurrentNetwork，PReNet)，采用分阶段思想去除雨纹，但该方法不能有效的复原背景偏暗的有雨图像，尤其是在方向不同的强雨密度图像下，去雨效果差。

发明内容

本发明的目的在于提供雨天交通车辆图像去雨方法、装置、设备及可读存储介质，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种雨天交通车辆图像去雨方法，包括以下步骤：

S1，对雨天交通图像进行预处理，扩充雨天交通图像数据集；

S2，对预处理后的雨天交通图像采用三个不同大小的膨胀卷积获取不同大小和方向的雨纹特征图；

S3，将不同大小和方向的雨纹特征图进行采样成相同大小的尺度后进行融合得到融合后的雨纹特征，利用第一层基于注意机制的循环神经网络提取注意特征得到第一阶段有雨纹的图像；

S4，将第一阶段有雨纹的图像与预处理后的雨天交通图像拼接后依次重复步骤s2-s3实现阶段性去雨，直至得到无雨图像。

进一步的，雨天交通图像数据集依次进行图像反转、对称处理实现扩充数据集；雨天交通图像集采用网上爬取或者交通采集获取，将雨天交通数据集分为训练集、测试集和验证集。

进一步的，采用像素为5×5，7×7，9×9三种尺度分别获取三个不同大小和方向的雨纹特征。

进一步的，将获取的雨纹特征图中最大尺度特征图下采样为中等尺度，将获取的雨纹特征图中最小尺度特征图上采样得到中等尺度，将下采样的中等尺度雨纹特征图、上采样的中等尺度雨纹特征图和步骤s2得到的中等尺度雨纹特征图进行融合。