[发明专利]一种基于优化算法结合残差网络的单幅图像除雨方法

权利要求书

1.一种基于优化算法结合残差网络的单幅图像除雨方法，其特征在于，所述的方法使用ADMM算法求解图像除雨模型，并分别嵌入残差网络和降噪算法来替代图像背景先验和雨先验，迭代后将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分；图像除雨模型求解的具体步骤如下：

步骤一、将图像除雨问题建模为如下优化问题：

其中，表示优化后的背景；表示优化后的雨迹；O表示观察到的有雨图像，B表示待求的无雨清晰图像，R表示O与B的残差，即雨迹，表示背景先验，Ψ(R)表示雨先验，F表示F-范数；

步骤二、引入两个临时变量P和Q，将公式(1)的无约束优化问题转变成如公式(2)的有约束优化问题：

其中，表示优化后的临时变量P；表示优化后的临时变量Q；

步骤三、用ADMM算法求解有约束优化问题：

首先求解公式(2)的拉格朗日方程：

其中，S，T表示对偶变量；ρ_B、ρ_R表示惩罚因子；

公式(3)的迭代求解过程为：

S^k+1＝S^k+(B^k+1-P^k+1) (7)

T^k+1＝T^k+(R^k+1-Q^k+1) (8)

其中，k表示迭代的次数，表示优化后的对偶变量；公式(4)表示去雨模型的迭代求解过程；公式(5)表示背景先验，背景先验描述雨天气图像中的清晰背景，结合残差网络具有描述特征的能力，可以通过训练一个从O到B的神经网络来代替公式(5)的迭代；公式(6)表示雨先验，雨迹本身非常稀疏，是接近0的，描述为而是一个包含部分背景噪声的雨图，所以公式(6)被当作一个降噪步骤；所以公式(5)和(6)分别被替换成如下公式：

其中，H表示残差网络，D_σ表示基于导向滤波的降噪算法。

2.根据权利要求1所述的方法，其特征在于，所述步骤三中，通过神经网络得到背景先验，该网络的输入是有雨图像X，输出是清晰图像Y，目标函数定义为：

其中，L表示神经网络的目标函数，N是训练图像的数目，i表示训练图像的编号，h(·)是残差网络，W和b是神经网络的权重和偏置项，基础的神经网络结构表达为：

X¹＝σ(BN(W¹*X⁰+b¹)),

X^2m＝σ(BN(W^2m*X^2m-1+b^2m)),

X^2m+1＝σ(BN(W^2m+1*X^2m+b^2m+1))+X^2m-1,

Y_approx＝BN(W^m*X^m-1+b^m) (12)

其中，m表示神经网络的每一层，这里的M是神经网络的总层数；*表示卷积操作，BN(·)表示缓解内部协变量偏移的批量标准化函数，σ(·)表示ReLu函数，Y_approx表示标准化后的值；

对神经网络的第一层，使用大小为c×s₁×s₁×a₁的滤波器来产生a₁个特征图，s表示滤波器的尺寸，c表示图像的颜色通道，彩色图的颜色通道是3，灰度图的颜色通道是1；从第二层到第M-1层，滤波器的尺寸为a₁×s₂×s₂×a₂，对于网络的最后一层，使用大小为a₂×s₃×s₃×c的滤波器来复原负残差。