[发明专利]一种基于生成式对抗网络的阴影去除方法

摘要

本发明涉及一种基于生成式对抗网络的阴影去除方法，该方法针对单幅图像阴影去除，首先设计生成式对抗网络并利用阴影图像数据集进行训练，然后通过对抗学习的方式来训练判别器和生成器，最后生成器恢复出以假乱真的阴影去除图像。本发明方法仅由一个生成式对抗网络构成，在生成器中分别设计阴影检测子网络和阴影去除子网络，并且利用十字绣模块自适应融合不同任务之间的底层特征，将阴影检测作为辅助任务，从而提升阴影去除表现。

主权项

1.一种基于生成式对抗网络的阴影去除方法，所述的生成式对抗网络包括生成器和判别器，其特征在于步骤如下：步骤1：增强阴影图像数据集；步骤2：分别设计生成器中的阴影检测子网络和阴影去除子网络，定义生成器损失函数；步骤2‑1：设计生成器的阴影检测子网络，该网路分别由7层网络构成，其中，第1层网络是卷积核为3×3、通道数为64的卷积层，第2‑6层网络由基本残差块组成，每个残差块的卷积核为3×3、通道数为64，第7层网络是卷积核为3×3、通道数为2的卷积层；步骤2‑2：定义阴影检测子网络损失函数预设阴影检测标签图像l(w,h)∈{0,1}，对于给定的像素点(w,h)属于l(w,h)的概率为：其中F_k(w,h)记为来自阴影检测子网络最后一层k通道特征图像素点(w,h)的值，w＝1,…,W₁，h＝1,…,H₁；W₁和H₁分别是特征图的宽和高；故阴影检测子网络损失函数定义如下：步骤2‑3：生成器的阴影去除子网络由7层网络构成，其中，该网络的第7层网络是卷积核为3×3、通道数为1的卷积层，其余网络与步骤2‑1中设计的阴影检测子网络结构保持一致；步骤2‑4：定义阴影去除子网络损失函数预设阴影输入图像x^c,w,h和阴影去除标签图像z^c,w,h∈{0,1,…,255}，其中c代表图像的通道变量，w和h分别代表图像宽和高变量，故阴影去除子网络的损失函数定义如下：其中，G(·)代表阴影去除网络的输出，C、W₂和H₂分别代表阴影输入图像的通道数、宽和高；步骤2‑5：使用不确定度来权衡阴影检测和去除损失函数，因为阴影检测子网络属于分类任务，而阴影去除子网络属于回归任务，故生成器损失函数L_E定义如下：其中，δ₁、δ₂为权重值；步骤3：利用十字绣模块自适应融合不同任务之间的底层特征，得到生成器；对于给定的分别来自阴影检测子网络和去除网络子网络第p层的两个激活特征图x_A,x_B，学习两个输入激活特征图的线性组合并且将其作为下一层的输入；线性组合将使用α参数；特别地，对于激活特征图(i,j)位置，有如下公式：其中，用α_D表示α_AB,α_BA并将它们称为不同任务值，因为它们权衡了来自另一个任务的激活特征图；同样地，α_AA,α_BB用α_S表示，即相同任务值，因为它们权衡了来自相同任务的激活特征图；通过改变α_D和α_S值，该模块可以在共享和特定任务的表示之中自由选择，并在需要时选择合适的中间值；步骤4：设计判别器，定义判别器损失函数；步骤4‑1：判别器包含有8个数量不断增加的带有3×3滤波器内核的卷积层，其中，和VGG网络相似，卷积层的通道数按指数为2从64增加到512；在512幅特征图之后接上两个全连接层和一个最终的Sigmoid激活函数，以获得样本分类的概率；步骤4‑2：给定一组来自于生成器的N幅阴影检测‑去除图像对和一组N幅阴影检测‑去除标签图像对，分别记为和判别器的损失函数定义如下：步骤5：在步骤1得到的阴影图像数据集上，通过极小极大策略优化步骤3和步骤4设计的生成器和判别器，使得生成式对抗网络具有图像阴影去除能力，最后将阴影图像作为生成式对抗网络的输入，进行卷积运算，恢复出一幅无阴影图像。