[发明专利]基于级联空洞卷积神经网络的面向单幅图像去雨方法

摘要

本发明属于图像去雨技术领域，提供一种基于级联空洞卷积神经网络的面向单幅图像去雨方法，用于解决雨天下所拍摄的单张图像的复原问题。本发明首先对雨水进行建模，将有雨图像分为雨水区域层、雨水层、背景层；通过级联多路空洞率不同的卷积神经网络对输入图像提取出雨水区域层图像，经卷积得到雨水层图像，再经卷积与输入图像求和得到去雨的背景层图像。级联空洞卷积神经网络有效提取了图像不同尺度的细节，网络采用残差网络结构增加网络深度，避免过拟合问题；在公开数据集上进行了测评实验，实验表明本发明相比单幅图像去雨经典方法在峰值信噪比(PSNR)上能够提升2～8，在图像结构相似度(SSIM)上能够提升0.04～0.22。

主权项

1.基于级联空洞卷积神经网络的面向单幅图像去雨方法，包括以下步骤：/n步骤1：构建基于级联空洞卷积神经网络的去雨模型：/n步骤1-1：构建图像雨水模型：/nO＝B+RA/n其中，O为含雨水图像，B为背景层，R为雨水层；A为雨水区域层，为一个二值图像、1代表其是雨水区域、0代表不是雨水区域；/n构建级联空洞卷积神经网络：/n所述级联空洞卷积神经网络中，输入经卷积层1后分别进入三路空洞卷积神经网络；第一路空洞卷积神经网络中，卷积层1的输出依次经过空洞卷积层1、激活层1、卷积层2，卷积层2的输出与卷积层1的输出求和后经激活层4输出；第二路空洞卷积神经网络中，卷积层1的输出依次经过空洞卷积层2、激活层2、卷积层3，卷积层3的输出与第一路空洞卷积神经网络的输出求和后经激活层5输出；第三路空洞卷积神经网络中，卷积层1的输出依次经过空洞卷积层3、激活层3、卷积层4，卷积层4的输出与第二路空洞卷积神经网络的输出求和后经激活层6输出；第三路空洞卷积神经网络的输出依次经过卷积层5、激活层7、卷积层6，卷积层6的输出与第三路空洞卷积神经网络的输出求和后经激活层8输出，其中，卷积层6的输出作为雨水区域层；激活层8的输出依次经过卷积层7、激活层9、卷积层8，卷积层8的输出与激活层8的输出求和后经激活层10输出，其中，卷积层8的输出作为雨水层；激活层10的输出经过卷积层9后与输入求和后输出，作为背景层；/n步骤1-2：建立训练模型的训练数据集；/n所述训练集中包含有雨图像与其对应的无雨图像的数据对，将有雨和无雨图像数据对进行色彩空间变换，由RGB格式转换成YUV格式；将有雨图像的Y通道作为级联空洞卷积神经网络的输入，将无雨图像的Y通道作为计算损失函数的参数；/n步骤1-3：运用训练数据集训练上述级联空洞卷积神经网络的去雨模型；训练过程中，设置损失函数为：/nL(θ)＝αL₁(θ)+βL₂(θ)+γL₃(θ)/n其中，θ表示模型中的所有的参数集合，α、β、γ均为求和权重；/nL₁(θ)为雨水区域层的损失函数：L₁(θ)＝-r_AlogP_A(θ)、P_A(θ)为模型输出的雨水区域层，/nL₂(θ)为雨水层的损失函数：n为图像的像素数、P_R(θ)为模型输出的雨水层，/nL₃(θ)为背景层的损失函数：P_B(θ)为模型输出的背景层，/nr_B为数据对中无雨图像的Y通道、r_R由数据对中有雨图像的Y通道减去无雨图像的Y通道得到、r_A由r_R二值化后得到；/n步骤2：对待处理的有雨图片进行色彩空间变换，将待处理的有雨图片的Y通道输入区域模型得到背景层；然后结合该有雨图片的UV通道，进行色彩空间反变换，得到最终的去雨图像。/n