[发明专利]一种联合人脸去口罩和超分辨率的图像处理系统和方法

说明书

本发明提供了一种联合人脸去口罩和超分辨率的图像处理系统及方法，所述图像处理系统包括去噪网络模块和超分网络模块；首先将低分辨率的戴口罩人脸图像送入去噪网络进行噪声估计并实现图像的盲去噪，通过调整估计的噪声水平图交互地纠正去噪结果，增强去噪结果的鲁棒性；然后将去除噪声后的低分辨率图像送入卷积层进行浅层特征提取，将提取的特征送入循环特征提取模块进行深层特征提取并重构图像，获得高分辨率图像进入先验知识提取模块估计Landmark，将Landmark信息进行加权形成相应的面部组件热图，通过分组卷积再次送入到循环特征提取模块提取特征，循环此过程；上述两个过程可以互相促进，并逐步达到更好的性能，最终输出高分辨率图像及对应的Landmark。

技术领域

本发明涉及计算机视觉技术领域，主要涉及一种联合人脸去口罩和超分辨率的图像处理系统和方法。

背景技术

人脸超分辨率(Face Super-Resolution，SR)，又称人脸幻觉，旨在从低分辨率(Low-Resolution，LR)输入中生成高分辨率(High-Resolution，HR)人脸图像。这是人脸分析中的一个基本问题，它可以极大地促进与人脸相关的任务，例如，人脸对齐，人脸解析，以及人脸识别，作为一般图像SR的一种特殊情况，人脸图像中存在着人脸特定的先验知识，这些先验知识对于人脸SR来说是至关重要的，而对于一般图像SR来说则是不可用的。例如，人脸对应场可以帮助恢复准确的人脸形状。

目前，在视频监控等无约束场景下采集到的人脸图像中往往存在包含低分辨率和口罩遮挡的复杂变化。从带有口罩的低分辨率人脸图像中获取高分辨率和无口罩遮挡的人脸图像是人脸分析的一项重要而又具有挑战性的任务，如人脸识别、属性学习、人脸分析等。因此，如何提高这种情况下的人脸超分辨率效果成为研究之一。

本发明目标在于如何在一个模型中同时处理人脸低分辨率和口罩遮挡。当人脸去噪方法和人脸超分辨率方法先后应用于输入的带遮挡的低分辨率人脸图像时，恢复后的人脸图像和可能包含视觉伪影。可能的原因是这种直接的恢复方法是次优的，因为它把超分辨率和去噪作为两个独立的问题，然而这两个问题在图像恢复过程中可能存在内部关系。此外，当相继应用人脸去噪和人脸超分辨率时，在超分辨率过程中可能会将伪影引入到非遮挡区域，然后导致恢复的人脸图像中存在更多的伪影。

发明内容

发明目的：本发明提供了一种联合人脸去口罩和超分辨率的图像处理系统和方法，基于生成式对抗网络(GAN)的端到端可训练框架，通过单一模型实现人脸图像的去噪和超分辨率联合。生成器(Generator)同时进行人脸的去噪和超分辨率任务，旨在从输入的有口罩遮挡的低分辨率人脸图像中恢复出无遮挡的高分辨率人脸图像。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种联合人脸去口罩和超分辨率的图像处理系统，包括基于生成式对抗网络GAN的端到端可训练框架，所述GAN框架包括GAN生成器部分和GAN判别器部分；所述GAN生成器部分包括去噪网络模块和超分网络模块；所述去噪网络模块由残差通道注意力模块、平均池化模块和反卷积模块连接构成；所述超分网络模块由残差通道注意力模块、分组卷积模块、循环特征提取模块和先验知识提取模块依次连接构成。

一种采用上述联合人脸去口罩和超分辨率的图像处理系统的图像处理方法，包括以下步骤：

步骤S1、将低分辨率的戴口罩人脸图像输入去噪网络模块进行噪声估计，实现图像的盲去噪；具体地，

噪声估计如下：

其中，M_MRCAB表示4个残差通道注意力模块的组合，所述残差通道注意力模块卷积核对应的步长为1；C₃表示kernel size为3的卷积操作，Nⁿ表示从输入图像估计的噪声信息；代表将输入图像采样至目标高分辨率的图像大小；