[发明专利]一种基于混合感知模型的图像去雨方法

说明书

本发明提供一种基于混合感知模型的图像去雨方法，包括步骤：1)将待处理图像输入到编码网络中，输出特征谱；2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；3)用于局部信息感知的解码网络输出雨滴掩膜图像；用于非局部信息感知的解码网络输出上下文关系谱；4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像；5)将待处理图像和修复图像加权组合得到最终去雨图像。本发明引入了非局部信息感知网络，它可以通过训练自动学习全局信息，帮助修复网络恢复出更清晰的图像；引入了局部信息感知网络，有效避免无雨区域的过增强现象，让修复网络只关注雨滴遮挡区域。

技术领域

本发明涉及图像处理领域、深度学习领域，特别涉及一种基于混合感知模型和深度学习修复图像的方法。

背景技术

许多新兴应用，如无人机，自动/辅助驾驶，搜救机器人，环境监测，安全监控，运输和检查，都依赖于基于计算机视觉的传感和对室外环境的理解。此类系统涉及广泛的目标任务，例如检测，识别，分割，跟踪和解析。然而，视觉传感和理解算法的性能将在很大程度上受到恶劣环境的危害，如浓雾和暴雨，尤其是摄像机镜头被大量雨滴遮挡的情形。

目前的图像去雨技术主要针对于背景中的雨，背景中的雨往往导致图像模糊，目标没有被完全遮挡。而当镜头被大量雨滴遮挡时，背景信息大量丢失，这对图像修复处理提出巨大挑战。

发明内容

本发明所要解决的技术问题是，提供一种从单张图像中去掉遮挡目标的雨滴并修复背景的方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于混合感知模型的图像去雨方法，包括以下步骤：

1)将待处理图像输入到编码网络中，输出特征谱；

2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；

3)用于局部信息感知的解码网络输出雨滴掩膜图像，雨滴掩膜图像中各像素值取值范围为0到1，雨滴遮挡越严重对应位置的像素值越接近1；用于非局部信息感知的解码网络输出上下文关系谱，上下文关系谱用于捕捉雨滴内部和周围的背景的相关性，以帮助修复雨滴区域；

4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像T；

5)将待处理图像和修复图像加权组合得到最终去雨图像O：

其中，表示图像中对应像素值相乘，Mask为雨滴掩膜图像。

从去雨图像O的计算可以看出：在雨滴严重遮挡区域，Mask的值接近1，去雨图像O中该位置像素值的主要贡献来源于图像T，即在无雨滴的干净区域，Mask的值趋于0，去雨图像O的主要贡献来源于P，即也就是直接从原始输入图片搬移信息。这样做的好处是修复网络可以专注于修复雨滴遮挡区域，无需担心破坏干净区域。

本发明引入了非局部信息感知网络，它可以通过训练自动学习全局信息，帮助修复网络恢复出更清晰的图像；引入了局部信息感知网络，可以有效避免无雨区域的过增强现象，并且让修复网络只关注雨滴遮挡区域。

发明的有益效果是：能够有效地将镜头被大量雨滴遮挡时所拍摄的图像恢复为清晰图像。

附图说明

图1为本发明流程示意图。

具体实施方式

如图1所示的图像去雨方法，包括以下步骤：

1)将一张镜头被雨滴遮挡的相机所拍摄的图像P输入到编码网络中，编码网络输出特征谱S；