[发明专利]一种热力图感知的金字塔人脸超分辨率网络

说明书

本发明公开了一种热力图感知的金字塔人脸超分辨率网络，属于人脸图像超分辨率技术领域。本发明设计了一种新颖的热力图感知卷积，该卷积可以针对人脸图像中不同区域生成空间变化的卷积核，从而有效地提高了重建性能。此外，为了恢复具有更好视觉质量和更饱满人脸细节的SR结果，采用了对抗损失和感知损失来微调模型。本发明充分利用了人脸结构的先验知识，在视觉效果和客观评价方面都达到了最先进的性能。

技术领域

本发明涉及一种热力图感知的金字塔人脸超分辨率网络，属于人脸超分辨率技术领域。

背景技术

人脸超分辨率(FSR)，也称为人脸幻觉，是一种从相应的低分辨率(LR)图像中恢复高分辨率(HR)脸部图像的技术。由于照相机的限制或较差的摄影环境，所捕获的人脸图像始终是低质量和LR的。因此，FSR通常被作为一种后处理算法引入，以打破上述限制，并且已被证明在许多应用中是有效的，例如视频监控和与人脸相关的计算机视觉任务，例如人脸属性编辑，人脸识别，人脸属性分析等。

近年来，人脸图像超分辨率问题吸引了很多学者的注意，许多深度学习人脸超分辨率方法被提出。通常，深度学习人脸超分辨率方法可分为两大类：一般人脸超分辨率方法和先验信息指导的人脸超分辨率方法。

一般人脸超分辨率方法致力于为人脸超分辨率任务设计有效的网络结构。早期，学者们主要设计基于卷积神经网络，和生成对抗网络的人脸超分辨率方法来恢复出高质量的人脸图像。然而，不同于丰富多样的自然图像，人脸图像的核心是人脸，是一种具有较强结构信息的图像，单单设计各式各样的网络结构而忽视如此强的结构先验很难恢复出清晰的人脸图像。因此，学者们转向对先验信息的探索，先验信息指导的人脸超分辨率方法应运而生。

先验信息指导的人脸超分辨率方法现已成为主流人脸超分辨率技术。早期阶段，学者从LR估计出人脸先验，然后再利用估计的先验去促进后续的超分辨率过程。然而由于LR的质量较差，准确的先验估计极其困难，从而影响了后续的重建。接着学者们先对LR图像进行一步粗略的重建以提升质量，再从一次超分后的结果提取先验信息，最后利用先验信息促进下一次重建。尽管取得了较大的突破，但是现有方法仍然存在缺陷。人脸图像的不同区域之间存在较大的差异，不同的区域需要不同的恢复方法。而现有方法均将带有空间共享卷积核的卷积应用在不同的区域，这将导致重要人脸细节的缺失。

发明内容

本发明的目的在于提出一种热力图感知的金字塔人脸超分辨率网络，以解决现有技术中存在的问题。

一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，所述构建方法包括：

建立热力图感知卷积HaConv，所述卷积HaConv利用热力图信息来为不同的人脸区域生成空间变化的卷积核，基于所述卷积HaConv，

构建双分支金字塔面超分辨率网络，所述双分支人脸超分辨率网络包括：通用功能提取模块CFEM，超分辨率分支SRB和热力图估计分支HEB，

首先，将低分辨率人脸图像I_LR送入通用功能提取模块CFEM提取特征，生成用于人脸重建和热力图估计的特征F_c，

F_c＝f_CFEM(I_LR)，

其中，f_CFEM表示CFEM函数，所述函数f_CFEM由一个卷积层和几个残差块ResBlock组成，然后将提取的特征F_c同时馈入超分辨率分支SRB和热力图估计分支HEB，