[发明专利]一种基于密集残差注意面部先验网络的人脸超分辨率方法

说明书

本发明公开了一种基于密集残差注意面部先验网络的人脸超分辨率方法，包括如下步骤：分别构建跳线连接的密集残差注意模块、面部结构先验预测模块和上采样模块；并联跳线连接的密集残差注意模块和面部结构先验预测模块，继而级联上采样模块和图像重建层，构建密集残差注意面部先验网络；对公布的数据集进行预处理，并将处理之后的数据分为训练集和测试集；训练密集残差注意面部先验网络；将测试集中的图像，输入到训练好的密集残差注意面部先验网络中，输出重建后的高分辨率人脸图像。本发明通过训练密集残差注意面部先验网络，继而实现对测试人脸图像的超分辨率处理，能够有效恢复具备面部高频细节，同时保留身份信息的超分辨率人脸图像。

技术领域

本发明属于图像处理及人脸超分辨技术领域，具体涉及一种基于密集残差注意面部先验网络的人脸超分辨率方法。

背景技术

在人脸识别任务中，往往期望获取高分辨率清晰无噪点的高质量图像。这是因为高质量的人脸图像不仅具有较好的视觉效果，而且包含很多后续处理中所需的细节信息。但是在实际采集和传输系统中，由于受采集环境、成像硬件和网络带宽等的限制，获取的人脸图像往往分辨率比较小，极大地影响了后续人脸识别任务的精度。改善成像系统的硬件条件和控制采集环境，是提高成像质量的最直接的途径。但是，这种方法不仅会提高成本，而且在很多应用场景(比如监控人脸分析等)下存在很难克服的现实问题。与之相比，人脸超分辨技术作为一种软件层面的方法，其实现简单，成本低廉，具有非常重要的应用价值。

人脸超分辨算法又被称为人脸幻想算法，其旨在利用低分辨率的图像来重建清晰的高分辨率人脸图像。普通物体超分辨技术是图像领域的重要研究分支，然而对于人脸超分辨来说，人脸图像具有相似的几何结构和复杂的纹理信息，传统的人脸超分辨方法无法取得良好的人脸重建效果。考虑到人脸图像的特殊情况，人脸超分辨通常利用人脸图像的固有属性优化重建结果，进而恢复出主观上真实自然的人脸图像。目前人脸图像超分辨率重建算法主要可以分为两类：基于插值和基于学习的方法。

现有的人脸超分辨方法，通常由于未能充分利用面部先验信息和非局部信息之间的关联，造成人脸高频信息的缺失，生成人工工件过多的高分人脸图像。同时，大多数人脸超分辨的算法在设计时只考虑均方差损失，该损失虽然能够获得较好的客观指标，但是未能考虑到人脸的固有信息。因此，如何设计新型损失函数，恢复准确的人脸结构及身份信息，同样是人脸超分辨算法存在的问题。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于密集残差注意面部先验网络的人脸超分辨率方法，能够有效恢复面部高频细节，从而获得高质量的人脸图像超分辨率结果，提出身份不变特征损失函数，监督网络生成具备真实身份信息的人脸图像。

技术方案：为实现上述目的，本发明提供一种基于密集残差注意面部先验网络的人脸超分辨率方法，包括如下步骤：

S1：分别构建跳线连接的密集残差注意模块、面部结构先验预测模块和上采样模块；

S2：并联跳线连接的密集残差注意模块和面部结构先验预测模块，继而级联上采样模块和图像重建层，构建密集残差注意面部先验网络；

S3：对公布的数据集进行预处理，并将处理之后的数据分为训练集和测试集；

S4：利用训练集中的数据训练密集残差注意面部先验网络；

S5：将测试集中的图像，输入到训练好的密集残差注意面部先验网络中，输出重建后的高分辨率人脸图像。

进一步的，所述步骤S1中跳线连接的密集残差注意模块的构建过程具体为：

A1：构建级联残差单元：级联残差单元由内卷积层、批处理层、激活函数和跳线连接组成；

A2：构建非局部注意力单元；

A3：利用级联残差单元和非局部注意力单元，构成残差注意模块；