[发明专利]一种基于生成式对抗网络进行图像去运动模糊的方法

权利要求书

1.一种基于生成式对抗网络进行图像去运动模糊的方法，其特征在于，包括如下步骤：

S10设计去运动模糊的生成式 对抗网络模型结构，其中该网络模型由生成器和判别器组成，其中生成器包括降采样器和上采样器，降采样器用于对图像进行卷积操作，提取图像的语义信息，上采样器用于根据获取到的语义信息，结合图像的结构信息，对图像进行解卷积操作；

S20将一个包含模糊图像和清晰图像的图像对数据集中模糊图像作为队列元素存储至模糊图像队列，清晰图像作为队列元素存储至清晰图像队列，且以清晰图像队列中的元素顺序调整模糊图像队列的元素顺序，以使清晰图像与模糊图像一一对应；

S30输入一组包含有m个从S20步骤中的两个队列获取的清晰-模糊图像对至网络模型，分别将该图像对中的清晰图像和模糊图像缩放成Sh×Sw的尺寸，再剪成出尺寸为Ch×Cw的图像块；

S40将由S30得到的图像块输入该网络模型，通过迭代应用后向传播算法，逐步更新该网络模型的训练参数，每代队列中的所有元素训练结束之后，重新打乱队列元素的排序，开始新一代的训练，循环多代训练，直至该网络模型收敛，保存并导入该网络模型收敛时的训练参数，以使得该网络模型拟合成一个从模糊图像分布到清晰图像分布的映射，包括：

S401将由S30得到的图像块输入该网络模型，模糊图像的图像块在生成式对抗网络的生成器中，经过一次前向传播计算，生成一张去模糊图像，其中模糊图像先经过降采样器，得到一个尺寸为(Ch/128)×(Cw/128)×512的带有图像高层语义信息的矩阵，然后，再经过一个上采样器，最终生成一个尺寸为Ch×Cw×3的去模糊图像；

S402所生成的去模糊图像和与其对应的模糊图像构成一个“模糊—去模糊”图像对，输入到判别器中，经过一次前向传播计算，得到一个该映射为真实映射的概率D(x,G(x))，及将其对应的“模糊—清晰”图像输入到判别器中，经过一次前向传播计算，得到一个该映射为真实映射的概率D(x,y)；

S403生成式对抗网络的损失函数通过生成器的生成损失和判别器的判别损失优化参数，其中，

生成器的优化方程：

判别器的优化方程：

其中，G为生成器，G(x)为生成器输出的去模糊图像；D为判别器，D(·)为判别器的输出结果，与S402中同义，为目标函数的数学期望，x～pdata(x)指的是图像x取自一个特定的分布pdata(x)，在本方法中，这个特定的分布指的就是一个图像队列；同理，y～pdata(y)指的是图像y取自一个特定的分布pdata(y)，指的是在更新模型参数时，只更新生成器网络G的参数，并使得损失函数L(G,D)的值最小化，同理，指的是在更新模型参数时，只更新判别器网络D的参数，并使得损失函数L(G,D)的值最小化，公式(7)表示生成器的目标函数，是最大化判别器判定“模糊—去模糊”图像对为真实映射的概率D(x,G(x))，使其趋向于1，公式(8)表示判别器的目标函数，是最大化判别器判定“模糊—清晰”图像对为真实映射的概率D(x,G(x))，使其趋向于1，同时最小化概率D(x,G(x))，使其趋向于0；

S404生成器通过S402中的生成损失、L1范数损失、感知损失及总变分损失的约束优化模型参数，最终得到生成器的损失函数，其中：

图像x和图像y之间的L1范数函数：

其中x指的是输入的清晰图像，y指的是模型生成的去模糊图像；W指的是图像的宽度，H指的是图像的高度，图像x和图像y的尺寸完全相同，都是(W，H)，i指的是宽度维度上的坐标，j指的是高度维度上的坐标，y_i,j指的是图像y在坐标[i,j]上的像素的灰度值，同理，x_i,j指的是图像x在坐标[i,j]上的像素的灰度值；

图像x和图像y之间的感知距离函数：

其中x指的是输入的清晰图像，y指的是模型生成的去模糊图像，[α,β]为一个整体，是一个坐标信息，指的是VGG网络中，第α个卷积层后，第β个池化层前的那一层语义特征的坐标，而W_α,β,H_α,β则是语义特征层的宽度和高度，i指的是宽度维度上的坐标，j指的是高度维度上的坐标，指的是在网络第α个最大池化层之前，第β个卷积层之后的特征矩阵，指的是图像y的第[α,β]语义特征层，而指的是图像y的第[α,β]语义特征层上的坐标[i,j]上的元素的数值，同理，指的是图像x的第[α,β]语义特征层上的坐标[i,j]上的元素的数值；

图像x的总变分损失函数：

其中x指的是模型生成的去模糊图像，W指的是图像的宽度，H指的是图像的高度，i指的是宽度维度上的坐标，j指的是高度维度上的坐标，x_i,j指的是图像x在坐标[i,j]上的像素的灰度值；

由公式(4)、(5)、(6)得到生成器的损失函数：

其中lL1与公式(4)同指，lperceptual与公式(5)同指，ltv与公式(6)同指，α₁，α₂和α₃分别为L1范数损失、感知损失以及总变分损失对应的权重；

S405模型在后向传播阶段，分别根据公式(8)和公式(9)计算出生成器和判别器的损失，并依次单独更新生成器和判别器中的模型参数，应用后向传播算法更新优化模型；

S406重复S401-405，直至模型收敛，则停止训练，当输入队列被取空之后，如果模型还没有收敛，则按照S402中提及的方法，重新对清晰图像队列和清晰图像队列进行随机乱序排序；

S50输入模糊图像，通过一次前向传播计算，生成去模糊图像。