[发明专利]一种从去除到渲染的双向控雨图像处理方法

权利要求书

1.一种从去除到渲染的双向控雨图像处理方法，其特征在于，包括以下步骤：

步骤1，构造数据库，包括训练集和测试集，训练集中每个样本包括无雨背景图、雾图以及多个不同雨量强度等级的雨图；

步骤2，将训练集中的原始雨图输入背景提取网络，网络输出包含背景信息的背景图，并传输给主控制网络；将所述原始雨图输入高频雨去除网络，网络消除雨图中的高频雨纹后，输出包含背景和雾信息的雾图，并传输给主控制网络；

步骤3，构建所述主控制网络的损失函数，该损失函数包括方向梯度直方图损失函数和自相关损失函数；

步骤4，所述主控制网络根据所述原始雨图、步骤2的包含背景信息的背景图及包含背景和雾信息的雾图，用多分支结构训练输出不同雨量强度等级的雨图；

步骤5，在测试阶段，将测试集中的雨图输入到已训练的主控制网络中，通过所述背景提取网络和高频雨去除网络分别输出背景图和雾图，并传输给主控制网络；在主控制网络中，通过特征空间插值，可以得到处于步骤1中不同雨量强度等级间的任意中间等级雨图。

2.根据权利要求1所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，所述步骤1中，测试集中包括仿真雨图和真实雨图，其中仿真雨图包括无雨背景图、雾图以及多个不同雨量强度等级的雨图，真实雨图包括单张真实场景雨图。

3.根据权利要求1所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，所述步骤3中，方向梯度直方图损失函数的构建步骤为：输入原始雨图到主控制网络，得到输出雨图，计算此输出雨图和其对应的目标雨图的方向梯度直方图，接着使用KL散度衡量两个梯度方向直方图的差距作为最终损失值。

4.根据权利要求3所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，方向梯度直方图损失函数L_h：

其中，表示图像划分的单元，真实方向直方图和实际输出的第k个单元归一化的方向直方图被标记为和

5.根据权利要求1所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，自相关损失函数L_ac：

其中，N表示自相关系数中前最大的峰值个数，max_i表示第i个最大系数的索引，表示自相关系数ac_x和ac_y的平均值。

6.根据权利要求1所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，所述步骤4中，主控制网络包括编解码网络、并行门控模块和噪声增强模块；所述并行门控模块位于编解码网络的不同跳层中，由编解码网络的编码器处理后的原始雨特征输入给并行门控模块，并行门控模块的多分支结构分别输出不同强度雨特征，再经编解码网络的解码器输出最终的不同雨量强度等级的雨图；所述噪声增强模块用于将乘上可学习参数的噪声加到编解码网络的卷积、解卷积层中，且在输出每个雨量强度等级的雨图时给噪声乘上对应大小的缩放参数。

7.根据权利要求6所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，所述噪声增强模块的处理步骤为：首先将高斯噪声图像进行通道层面的重复扩充，通道个数与目标加入特征的通道个数相同，接着将扩充后的噪声图乘以对应目标雨强度等级的缩放参数，再将噪声图像的每个通道乘以一个可学习的参数，最后将此加权噪声图像加到主控制网络中的对应特征中。

8.根据权利要求6所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，所述步骤5中，首先通过所述背景提取网络，输出包含背景信息的背景图，此背景图和测试集中的实际背景图进行对比，得到结构相似性和峰值信噪比用于衡量两张图片的相似性，以量化去雨效果；接着将测试集中的雨图输入高频雨去除网络，网络输出包含背景信息和雾信息的雾图；主控制网络根据测试雨图、输入的背景图和雾图，通过参数控制特征空间插值，对并行门控模块中相邻两等级分支的特征进行加权线性相加，从而得到任意中间等级雨图。

9.根据权利要求6所述的一种从去除到渲染的双向控雨图像处理方法，其特征在于，所述背景提取网络包括粗处理网络和细处理网络，输入的原雨图先经过粗处理网络初步去除雨纹，接着将原雨图和初步去除雨纹后的雨图输入到细处理网络，得到精炼去雨图；然后将精炼去雨图传输到主控制网络的输入处以及并行门控模块的无雨分支中；所述精处理网络中的跳层特征被传输到主控制网络的对应跳层中。