[发明专利]一种基于频率分解多注意力机制的人脸超分辨方法

权利要求书

1.一种基于频率分解多注意力机制的人脸超分辨方法，其特征在于，包括以下步骤：

步骤S1，输入低分辨率人脸图像，将该图像通过一个卷积层后采用二维哈尔小波变换将每个通道的特征图分解为四个降采样图，总通道数变为原来的4倍，尺寸变为原来的1/2，将每个通道的四类特征分解图按频率组合在一起，输出四组不同频率的特征图；

步骤S2，将步骤S1中得到的四组不同频率的特征图按频率组输入到一个多核卷积模块分别进行处理得到四路特征；

步骤S3，将步骤S2处理得到的四路特征输入至多注意力模块，将所有通道的特征进行级联，再经过通道注意力模块，后再分解为原先的四路特征，然后依次经过4-8个所述的多注意力模块进行特征增强；

步骤S4，将经过步骤S3增强的特征与步骤S1中二维哈尔小波变换得到的特征按照频率分别进行相加操作，然后输入到粗上采样模块中，获得放大2-4倍的中分辨率特征；

步骤S5，将粗上采样后的特征再经过一个多核卷积模块和4-8个多注意力模块，然后经过一个精上采样模块，获得再次放大2-4倍的目标高分辨特征，经过二维可逆小波变换之后得到结果与输入的低分辨率人脸图像经过卷积层和上采样处理的特征进行相加操作，得到目标分辨率图像；

步骤S6，利用已经经过预训练处理的人脸关键点提取网络对输出的目标分辨率图像进行特征提取，将其经过不同倍率的下采样操作后的关键点分别输入到多核卷积模块中；

步骤S7，最后增加一个判别器网络和增加基于视觉感知质量的损失函数，利用生成对抗学习训练方式得到最终的图像生成网络，输出最终的图像。

2.如权利要求1所述的一种基于频率分解多注意力机制的人脸超分辨方法，其特征在于，所述卷积层为一个3×3×16×1卷积层，3×3表示卷积核尺寸，16表示卷积核个数，1表示卷积核的运动步幅；所述四个降采样图，分别对应对角线高频D、垂直高频V、水平高频H和低频A。

3.如权利要求2所述的一种基于频率分解多注意力机制的人脸超分辨方法，其特征在于，所述步骤S2具体为：所述多核卷积模块根据频率高低的不同分别处理步骤S1中得到的特征图，将D输入到一个3×3的卷积层、一个LeakyReLU非线性激活层和一个3×3的卷积层，将V和H分别输入到一个3×3的卷积层、一个LeakyReLU非线性激活层和一个1×1的卷积层，将A输入到一个深度可分离卷积层、一个LeakyReLU非线性激活层和一个1×1的卷积层，所述的深度可分离卷积层由通道数为1的3×3×16×1大小卷积层和通道数为16的1×1×32×1卷积层组成。

4.如权利要求2所述的一种基于频率分解多注意力机制的人脸超分辨方法，其特征在于，所述多注意力模块设有像素注意力模块、空间注意力模块、普通卷积模块和通道注意力模块，所述步骤S3具体包括：

（1）将D支路部分输入到像素注意力模块中，所述的像素注意力模块分为主路部分和支路部分，主路部分依次经过一个1×1和3×3的卷积层，支路部分经过一个1×1的卷积层和sigmoid激活层，然后两路经过点乘合成一路，再经过一个3×3卷积层、一个LeakyReLU非线性激活层和一个1×1的卷积层；

（2）将V和H输入到空间注意力模块中，所述的空间注意力模块也分为两路，主路经过一个3×3卷积层，支路部分依次经过一个3×3卷积层、1×1卷积层和sigmoid激活层，然后两路经过点乘合成一路，再经过一个3×3卷积层、一个LeakyReLU非线性激活层和一个1×1的卷积层；

（3）将A输入到一个由3×3卷积、LeakyReLU非线性变换和3×3卷积组成的普通卷积模块中；

（4）将所有通道的特征进行级联，输入到通道注意力模块中，所述的通道注意力模块分为两路，一路依次经过一个全局平均池化、一个3×3卷积层、一个ReLU非线性激活层、一个3×3的卷积层和sigmoid激活层，另一路经过一个3×3卷积层、一个LeakyReLU非线性激活层和一个3×3的卷积层，两路结果进行点乘得到的特征与该模块的原始输入特征进行相加操作，然后再分解为原先的四路特征，然后依次经过4-8个这样的多注意力模块。