[发明专利]一种基于频率分解多注意力机制的人脸超分辨方法

说明书

本发明属于计算机视觉、图像处理领域，涉及一种基于频率分解多注意力机制的人脸超分辨方法，利用小波变换及其逆变换均可逆的性质，将输入的低分辨率人脸图像进行频率分解，针对不同频率的特征，采用不同的核卷积构建基础模块，自适应集成不同感受野的特征，利用残差注意力模块，包含像素、空间和通道注意力机制，对不同频率的特征分别进行处理，低频部分纹理采用较少计算量的注意力，高频部分采用更多的残差注意力模块，在保持计算量的同时将更多的网络应用于高频部分，利用预训练的人脸关键点提取网络进行关键点提取并进行反馈，增强轮廓特征，利用生成抵抗网络增强纹理特征。

技术领域

本发明属于计算机视觉、图像处理领域，涉及一种基于频率分解多注意力机制的人脸超分辨方法。

背景技术

图像分辨率的大小直接关系到图像的质量，对高级别的任务包括检测识别等会有很大的影响，更高的高分辨率意味着包含更多的细节信息，应用潜能更大。然而在实际图像获取过程中，由于成像设备本身的限制、环境因素的影响以及存储介质和网络带宽的影响导致无法直接获取高质量的图像。随着计算机视觉技术尤其是深度学习的快速发展，图像增强方法也越来越多，超分辨技术就是一项提升图像画质的有效手段，能够有效提升图像分辨率。图像超分辨率技术是将低分辨率的图像通过相应算法，将其上采样到高分辨率图像，与硬件方式相比，可以有效降低图像增强的成本，在卫星成像、安防监控、医学检测、刑事侦查、历史图像修复增强等多个领域都具有非常重要的应用价值。例如在安防监控场景中，由于摄像头和周围环境等因素，拍摄到的目标所占像素较低，导致无法识别目标，通过超分辨技术可以重构出分辨率较高的图像，提高目标人脸的分辨率，从而对目标人物提供的检测和识别提供帮助。因此，图像超分辨技术作为一种低层的图像处理方法，可以为后续的高层次图像处理方法提供有效的支持。

目前有很多关于图像超分辨的网络，在处理各种各样的场景、物体方面都有了比较明显的提升，针对人脸超分辨方面的网络虽然取得了一些进步，但是针对低分辨率的人脸，超分效果不是很好。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于频率分解多注意力机制的人脸超分辨方法，在保证网络复杂度不增加和低频结构的一致性的情况下，使网络更加关注高频部分，利用哈尔小波变换将原始输入图像分解为四部分不同频率，分别通过网络进行高低频特征的增强处理，并且针对直接从 LR 输入中估计面部的关键点有一定困难，通过超分辨输出结果图进行人脸关键点信息的提取并反馈到主干网络中的低频部分来进一步提升人脸信息，其具体技术方案如下：

一种基于频率分解多注意力机制的人脸超分辨方法，包括以下步骤：

步骤S1，输入低分辨率人脸图像，将该图像通过一个卷积层后采用二维哈尔小波变换将每个通道的特征图分解为四个降采样图，总通道数变为原来的4倍，尺寸变为原来的1/2，将每个通道的四类特征分解图按频率组合在一起，输出四组不同频率的特征图；

步骤S2，将步骤S1中得到的四组不同频率的特征图按频率组输入到一个多核卷积模块分别进行处理得到四路特征；

步骤S3，将步骤S2处理得到的四路特征输入至多注意力模块，将所有通道的特征进行级联，再经过通道注意力模块，后再分解为原先的四路特征，然后依次经过4-8个所述的多注意力模块进行特征增强；

步骤S4，将经过步骤S3增强的特征与步骤S1中二维哈尔小波变换得到的特征按照频率分别进行相加操作，然后输入到粗上采样模块中，获得放大2-4倍的中分辨率特征；

步骤S5，将粗上采样后的特征再经过一个多核卷积模块和4-8个多注意力模块，然后经过一个精上采样模块，获得再次放大2-4倍的目标高分辨特征，经过二维可逆小波变换之后得到结果与输入的低分辨率人脸图像经过卷积层和上采样处理的特征进行相加操作，得到目标分辨率图像；

步骤S6，利用已经经过预训练处理的人脸关键点提取网络对输出的目标分辨率图像进行特征提取，将其经过不同倍率的下采样操作后的关键点分别输入到多核卷积模块中；