[发明专利]一种热力图感知的金字塔人脸超分辨率网络

权利要求书

1.一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，其特征在于，所述构建方法包括：

建立热力图感知卷积HaConv，所述卷积HaConv利用热力图信息来为不同的人脸区域生成空间变化的卷积核，基于所述卷积HaConv，

首先，将低分辨率人脸图像I_LR送入通用功能提取模块CFEM提取特征，生成用于人脸重建和热力图估计的特征F_c，

F_c＝f_CFEM(I_LR),

其中，f_CFEM表示CFEM函数，所述函数f_CFEM由一个卷积层和几个残差块ResBlock组成，然后将提取的特征F_c同时馈入超分辨率分支SRB和热力图估计分支HEB，

所述超分辨率分支SRB和热力图估计分支HEB分别将特征F_c传递给一个残差块ResBlock，以获得适合人脸超分辨率和热力图估计任务的特征F₁和H₁，之后，将特征F₁和H₁馈送到双分支人脸超分辨率网络中的两个分支中，所述两个分支均是金字塔体系结构，该金字塔体系结构一共包括三个步骤，每个步骤都共享相同的操作，令l＝1,2,3表示步骤，令特征F_l和H_l分别为超分辨率分支SRB和热力图估计分支HEB的特征，包括以下过程

为了利用热力图生成空间变化的卷积核以恢复不同的人脸区域，将特征F_l和H_l馈入热力图感知块HaB，

A_l＝f_HaB(F_l,H_l),

其中f_HaB表示HaB函数，A_l则是带有空间变化卷积核的卷积生成的特征，接着，特征A_l和H_l被传递到后面的层，生成下一步的特征，

其中和分别表示SRB和HEB中由残差块ResBlock和上采样Upsamble Block组成的RU函数，F_l+1和H_l+1则是l+1步的特征，与此同时，F_l+1还被用于生成第l歩的中间结果，

I_l＝f_Conv(F_l+1),l＝1,2,3,

其中f_Conv表示卷积操作，I_l是第l步的中间结果，

建立一种自适应权重学习策略，表示为：

其中↑_s表示用Bicubic上采样×s倍，α是自适应权重学习策略的可学习权重，

经过三步，对热力图特征H₄进行了卷积运算，得到了最终的热力图H_Rec，

利用像素损失和热力图损失定义如下：

其中I_GT和H_GT是高质量人脸图像和热力图的参考标准，

具体的，将HaConv嵌入到HaB中，给定SRB中名为F_l的特征和HEB中名为H_l的特征，HaB首先使用两个不同的标准卷积层将它们映射到同一空间，

其中和是两个卷积层的输出，使用热力图来为不同像素生成空间变化的卷积核，将F_l和H_l映射到同一空间后，下一步是使用带有空间变化卷积核的卷积，

标准卷积：首先，展示使用卷积核W和输入特征来进行标准卷积的过程：

其中表示中以(x,y)为中心的块，*代表卷积操作，而V_l(x,y)则表示卷积生成的V_l中以(x,y)为中心的向量，

热力图感知卷积：提出利用热力图信息生成空间变化卷积核的HaConv，首先，从中提取与卷积核W相同大小的块，即然后利用该块生成空间变化的卷积核，计算块中其他像素与中心像素之间相似性矩阵，

其中M为相似度矩阵，Ω(x,y)代表卷积窗口，接着根据相似度矩阵，生成自适应的卷积核，

其中K_l[x,y]即为以(x,y)为中心的块对应的自适应的卷积核，接着，计算K_l[x,y]和W的点积来生成最终的空间变化卷积核，

其中表示点积，为最终的空间变化的卷积核，最终，应用空间变化的卷积核于

其中为卷积后的输出，不止与W有关，也会受到的影响，而且对于中的每一个块，卷积核随着的变化而变化，从而实现了热力图感知卷积，在经过热力图感知卷积之后，得到的特征经过一个标准的卷积和来自于F_l的跳跃连接，

其中A_l是生成的特征，在这种模式下，HaPSR在不同区域使用空间变化的卷积核执行卷积并改善人脸重建，

构建双分支金字塔人脸超分辨率网络，所述双分支金字塔人脸超分辨率网络包括：通用功能提取模块CFEM，超分辨率分支SRB和热力图估计分支HEB。

2.根据权利要求1所述的一种热力图感知的金字塔人脸超分辨率网络模型的构建方法，其特征在于，对于损失函数，除了像素损失和热力图损失以外，还有对抗和感知损失，

对抗损失：建立一个额外的鉴别器并引入对抗损失，

其中D表示判别器；

感知损失：使用预训练网络VGG19提取I_SR和I_GT的特征，然后计算提取的特征之间的距离，表示为：

其中Φ表示预训练好的VGG，

总的损失函数是：

其中β和γ是对抗损失和感知损失的权值。