[发明专利]一种从去除到渲染的双向控雨图像处理方法

说明书

本发明公开一种从去除到渲染的双向控雨图像处理方法。其方法的步骤为：构造包括训练集和测试集的数据库；将雨图输入背景提取网络和高频雨去除网络，分别输出包含背景信息的背景图和包含背景及雾信息的雾图；构建主控制网络的损失函数，该损失函数包括方向梯度直方图损失函数和自相关损失函数；输入雨图、背景图、雾图到主控制网络，用多分支结构训练输出从无雨到大雨的不同等级雨图；在测试阶段通过特征空间插值，可得到任意中间不同雨量强度等级的雨图。本发明的方法可以实现输入单张雨图，由用户自己控制得到从完全无雨到大雨之间的任意中间强度雨图，且在此变化过程中，雨纹的方向、外观、分布等场景特定的雨特征被保留。

技术领域

本发明属于图像处理及深度学习技术领域，特别涉及一种从去除到渲染的双向控雨图像处理方法。

背景技术

在图像处理领域中，天气状况的转换是一个重要且具有挑战性的课题，具体来说，在有雨和无雨天气之间的图像转换研究包括去雨和雨渲染两个方面。去雨的方面着重于研究对有雨图像实现雨的去除，然而尽管一些去雨方法可以高质量地生成去雨图，却不能通过控制得到不同中间强度雨的图像。此外一些多阶段逐步去雨的方法被提出，然而这些方法的中间阶段输出是部分去雨图，这与中等强度的雨图效果不相符。雨渲染的方面可以实现在无雨图像上渲染出仿真雨，然而雨渲染方法高度依赖于物理参数，如场景结构、光照条件、风速和风向以及相机设置，这些限制使其不能基于输入雨图渲染出具有相同特征的雨的效果。总的来说，目前无论是去雨还是雨渲染的方法，都只着眼于直接从一种天气转换到另一种天气条件，留下了一个具有创新性的问题，即输入单张雨图，如何实现从完全去雨到生成大雨的双向连续控制。

图像中不同强度的雨在雨纹密度、雾厚度等特征上有着不同的表现，与此同时，一些场景特定的特征在不同降雨强度下应保持不变，包括局部降雨方向、雨纹的外观和分布等，这些不随强度变化的特征主要取决于风向、光照方向和相机参数(例如焦距、焦点和曝光时间等)。简单的生成不同降雨强度雨图会忽略这些与强度相关和无关的雨特征，使得变雨过程缺乏真实性。因此，在调整雨强度的同时，提供一种可以变化强度相关的雨特征，并保留强度无关的雨特征的控雨图像处理方法是亟待解决的问题。

发明内容

针对目前图像天气转换方法只能实现单向去雨或雨渲染的问题，本发明提供了一种从去除到渲染的双向控雨图像处理方法，以生成从完全去雨到强降雨的不同连续强度雨量的雨图，并在控雨过程中保留场景特定的雨特征。

本发明采用的技术方案如下：

一种从去除到渲染的双向控雨图像处理方法，包括以下步骤：

步骤1，构造数据库，包括训练集和测试集，训练集中每个样本包括无雨背景图、雾图以及多个不同雨量强度等级的雨图；

步骤2，将训练集中的原始雨图输入背景提取网络，网络输出包含背景信息的背景图，并传输给主控制网络；将所述原始雨图输入高频雨去除网络，网络消除雨图中的高频雨纹后，输出包含背景和雾信息的雾图，并传输给主控制网络；

步骤3，构建所述主控制网络的损失函数，该损失函数包括方向梯度直方图损失函数和自相关损失函数；

步骤4，所述主控制网络根据所述原始雨图、步骤2的包含背景信息的背景图及包含背景和雾信息的雾图，用多分支结构训练输出不同雨量强度等级的雨图；

步骤5，在测试阶段，将测试集中的雨图输入到已训练的主控制网络中，通过所述背景提取网络和高频雨去除网络分别输出背景图和雾图，并传输给主控制网络；在主控制网络中，通过特征空间插值，可以得到处于步骤1中不同雨量强度等级间的任意中间等级雨图。

相较于现有技术，本发明具有以下优点：

(1)本发明的图像处理方法可以控制雨强度，对输入的单张雨图，能实现从去雨到雨渲染的双向连续控雨，从而增加图像天气转化任务的多样性和灵活性。