[发明专利]一种联合人脸去口罩和超分辨率的图像处理系统和方法

权利要求书

1.一种联合人脸去口罩和超分辨率的图像处理方法，采用的图像处理系统包括基于生成式对抗网络GAN的端到端可训练框架，所述GAN框架包括GAN生成器部分和GAN判别器部分；所述GAN生成器部分包括去噪网络模块和超分网络模块；所述去噪网络模块由残差通道注意力模块、平均池化模块和反卷积模块连接构成；所述超分网络模块由残差通道注意力模块、分组卷积模块、循环特征提取模块和先验知识提取模块依次连接构成；

其特征在于，图像处理方法包括以下步骤：

步骤S1、将低分辨率的戴口罩人脸图像输入去噪网络模块进行噪声估计，实现图像的盲去噪；具体地，

噪声估计如下：

其中，M_MRCAB表示4个残差通道注意力模块的组合，所述残差通道注意力模块卷积核对应的步长为1；C₃表示kernel size为3的卷积操作，Nⁿ表示从输入图像估计的噪声信息；代表将输入图像采样至目标高分辨率的图像大小；

步骤S2、在噪声估计中加入非对称损失L_asymm如下：

其中，是噪声估计网络估计的噪声等级，σ(y_i)是真实的噪声等级；当时，取β＝1，当时，取β＝0；α取值范围为0α0.5；

步骤S3、将得到的噪声信息和原始输入图像级联，进行进一步特征提取和去噪操作；获取去口罩遮挡后的低分辨率图像；具体如下：

F₂＝M_MRCAB(Avg(F₁)

F₃＝F₂+D₂(M_MRCAB(Avg(F₂)

F₄＝F₁+D₂(M_MRCAB(F₃))

其中[]表示级联操作，Avg表示kernel size＝2的平均池化操作；F_{n(n＝1，2，3，4，5)}表示各个阶段获取到的图像特征；D₂表示kernel size＝2，stride＝2的反卷积操作；表示最终得到的去口罩遮挡后的低分辨率图像；

步骤S4、将网络输出的去噪图像和其真实无噪声图像进行比较，计算重构损失如下：

其中为欧氏距离算子，为网络输出的去噪图像，为真实的无口罩遮挡的低分辨率图像；

在重构损失的基础上添加感知损失、风格损失、平滑损失和身份损失如下：

(1)感知损失：

(2)风格损失：

(3)平滑损失：

(4)身份损失：

其中，是VGG-16预训练模型，表示在第i个最大池化层之前的第j个卷积层的特征图，w_i，jH_i，j表示特征图的维度，CNN_R()表示通过人脸识别模型提取的身份特征；表示为真实的无口罩遮挡的高分辨率图像；LR代表低分辨率,HR代表高分辨率；

去噪网络的总损失L_denoising如下：

其中为各个损失函数所占的权重比；

步骤S4、将去噪网络模块输出的图像信息输入至超分网络模块中进行超分辨率处理；所述超分网络模块包括人脸回复部分和Landmark估计部分；首先进行第一次迭代如下：

对进行浅层特征提取：

其中RFE表示循环特征提取；对送入的特征进行递归卷积和反卷积操作，其中MRCAB模块中的卷积核大小为2；

超分网络模块输出的超分辨率图像如下所示：

将输入至人脸对齐模块获取对应的Landmark特征；首先进行预处理如下：

其中RB是带有注意力机制的残差模块，Mp表示kernel size＝2，stride＝2的最大池化操作；将输入至先验信息提取模块HG提取先验信息，得到相应的Landmark信息：

对Landmark信息进行后处理操作：

其中σ表示Relu激活函数；

步骤S5、在获取Landmark信息后，进行后续迭代如下：

步骤S6、采用对抗性损失来监督框架的训练，并生成具有高保真细节的增强型超分辨率人脸图像；将网络输出的超分图像和其真实的无口罩遮挡的高分辨率图像进行比较，计算像素损失如下：

其中L_align是关键点估计的损失函数，为预测的关键点图像信息，为真实的关键点图像信息；

步骤S7、构建判别器D区分网络输出的超分图片与真实图片；对应的对抗性损失如下：

其中ε表示数学期望，p_data(x)表示真实人脸图像的分布，p_z(z)表示有口罩遮挡的人脸图像的分布，D(x)为鉴别器，G(z)为图像生成器；在对抗性损失的基础上添加感知损失，平滑损失和身份损失，则超分网络模块的总损失函数如下：

其中为各个损失函数所占的权重比。