[发明专利]基于回归模型的金字塔人脸图像超分辨率重建方法

权利要求书

1.基于回归模型的金字塔人脸图像超分辨率重建方法，其特征在于具体步骤如下：

A.训练集中低分辨率人脸图像集和高分辨率人脸图像集的训练过程：

第一步，扩充训练集中低分辨率人脸图像集和高分辨率人脸图像集：

根据人脸图像对称的特性，对训练集中的低分辨率人脸图像集和高分辨率人脸图像集通过左右翻转的方式进行扩充，图像的尺寸不变，数量扩充两倍，分别得到扩充的低分辨率人脸图像集和扩充的高分辨率人脸图像集其中l表示低分辨率图像，尺寸为a*b像素，h表示高分辨率图像，尺寸为(d*a)*(d*b)像素，d是倍数，M表示图像的数量；

第二步，对扩充后的低分辨率人脸图像集P_l和高分辨率人脸图像集P_h分别提取梯度特征：

对扩充后的低分辨率人脸图像集P_l和高分辨率人脸图像集P_h中的每幅人脸图像，分别提取一阶梯度和二阶梯度作为分量构成一个梯度特征，得到低分辨率人脸图像集P_l中的低分辨率人脸梯度特征图像集和高分辨率人脸图像集P_h中的高分辨率人脸梯度特征图像集

第三步，对扩充后的高分辨率人脸图像集P_h及其对应的高分辨率人脸梯度特征图像集G_h分别进行分块：

对扩充后的高分辨率人脸图像集P_h中的每一幅人脸图像及相应的高分辨率人脸梯度特征图像分别进行有重叠的分块，每个分块大小为R₁*R₁像素，R₁的数值为8～12，重叠的方式是当前块与上下相邻图像块之间分别重叠K₁行像素，与左右相邻图像块之间重叠K₁列像素，且0≤K₁≤R₁/2，然后采用从上到下和从左到右的顺序对每幅高分辨率人脸图像及其对应的梯度特征图像的所有分块进行编号，编号分别为1,2,...,U,U为每幅图像分块总数，编号相同的图像块称为相同位置的图像块，由此完成对扩充后的高分辨率人脸图像集P_h及其对应的高分辨率人脸梯度特征图像集G_h分别进行分块；

第四步，对扩充后的低分辨率人脸图像集P_l及其对应的低分辨率人脸梯度特征图像集G_l分别进行分块：

与上述高分辨率人脸图像集P_h的分块方式相同，对扩充后的低分辨率人脸图像集P_l中的每一幅低分辨率人脸图像及相应的低分辨率人脸梯度特征图像分别进行有重叠的分块，每块大小为(R₁/d)*(R₁/d)像素，R₁的数值为8～12，重叠的方式是当前图像块与上下相邻图像块之间重叠K₁/d行像素，与左右相邻图像块之间重叠K₁/d列像素，然后采用从上到下和从左到右的顺序对每幅低分辨率人脸图像及其对应的梯度特征图像的所有分块分别进行编号，编号分别为1,2,...,U，U为每幅图像分块总数，编号相同的图像块称为相同位置的图像块，由此完成对扩充后的低分辨率人脸图像集P_l及其对应的低分辨率人脸梯度特征图像集G_l分别进行分块；

至此，完成A.训练集低分辨率人脸图像集P_l和高分辨率人脸图像集P_h的训练过程；

B.测试集中低分辨率人脸图像的重建过程：

第五步，放大测试集中的低分辨率人脸图像得到放大的高分辨率人脸图像：

将需要测试的低分辨率人脸图像输入到计算机中得到测试集中的低分辨率人脸图像I_tl，采用双三次插值的方式放大测试集中的某一幅低分辨率人脸图像，得到放大的图像作为测试集中的放大的高分辨率人脸图像I_th，使得测试集中的放大的高分辨率人脸图像I_th与训练集中的高分辨率人脸图像尺寸相等；

第六步，对测试集中的低分辨率人脸图像I_tl和放大的高分辨率人脸图像I_th分别提取梯度特征：

分别提取上述第五步得到的测试集中的低分辨率人脸图像I_tl和放大的高分辨率人脸图像I_th的一阶梯度和二阶梯度作为分量构成各自的梯度特征，得到它们各自对应的低分辨率人脸梯度特征图像g_tl和高分辨率人脸梯度特征图像g_th；

第七步，对测试集中的放大的高分辨率人脸图像I_th及其对应的高分辨率人脸梯度特征图像g_th进行分块：

对上述第五步中得到的测试集中的放大的高分辨率人脸图像I_th及其对应的上述第六步中的高分辨率人脸梯度特征图像g_th分别进行有重叠的分块，每块大小为R₁*R₁像素，R₁的数值为8～12，使分块大小与训练集中高分辨率人脸图像的分块大小相同，重叠的方式是当前图像块与上下相邻图像块之间重叠K₁行像素，与左右相邻图像块之间重叠K₁列像素，然后采用从上到下和从左到右的顺序对每幅人脸图像的所有分块分别进行编号，编号分别为1,2,...,U，U为每幅图像分块总数，编号相同的图像块称为相同位置的图像块；

第八步，对测试集中的低分辨率人脸图像I_tl及其对应的低分辨率人脸梯度特征图像g_tl进行分块：

对上述第五步得到的测试集中的低分辨率人脸图像I_tl及其对应的上述第六步中的低分辨率人脸梯度特征图像g_tl分别进行有重叠的分块，每块大小为(R₁/d)*(R₁/d)，R₁的数值为8～12，使分块大小与训练集中低分辨率人脸图像的分块大小相同，重叠的方式是当前图像块与上下相邻图像块之间重叠K₁/d行像素，与左右相邻图像块之间重叠K₁/d列像素，然后采用从上到下和从左到右的顺序对每幅人脸图像的所有分块分别进行编号，编号分别为1,2,...,U，U为每幅图像分块总数，编号相同的图像块称为相同位置的图像块；

第九步，利用测试集中的低分辨率人脸图像I_tl对应的低分辨率人脸梯度特征图像g_tl求相似块的编号：

按照从上到下和从左到右的顺序对上述第八步中得到的测试集中的低分辨率人脸图像I_tl的图像块进行重建，以对第j块图像块进行重建为例，利用测试集中的低分辨率人脸图像I_tl对应的低分辨率人脸梯度特征图像g_tl的非局部相似性，在测试集中低分辨率人脸图像I_tl中寻找第j块图像块的相似块，设测试集中的低分辨率人脸图像I_tl对应的低分辨率人脸梯度特征图像g_tl的第j块人脸梯度特征图像块为g_tl,j，对低分辨率人脸梯度特征图像g_tl中的所有人脸图像块采用从上到下和从左到右的顺序进行扫描，扫描的图像块与第j块图像块不重复，计算扫描到的人脸梯度特征图像块与第j块人脸梯度特征图像块的欧式距离，然后按照距离从小到大的顺序对所有低分辨率人脸梯度特征图像块的距离进行排序，取距离最小的前n块作为第j块低分辨率人脸梯度特征图像块g_tl,j的相似图像块，设相似低分辨率人脸梯度特征图像块的编号集合为[v₁,v₂,...,v_n]，该编号集合对应的低分辨率人脸梯度特征图像块的集合为由此完成利用测试集中的低分辨率人脸图像I_tl对应的低分辨率人脸梯度特征图像g_tl求相似块的编号的过程；

第十步，利用相似块的位置编号求训练集中扩充后的低分辨率人脸梯度特征图像集G_l中的所有图像在相同编号处的图像块组成的集合：

对上述第二步中的训练集中扩充后的低分辨率人脸梯度特征图像集G_l中的第i,i＝1,2,...,M幅人脸图像中编号为j的人脸特征图像块和上述第九步中的相似低分辨率人脸梯度特征图像块的编号集合为[v₁,v₂,...,v_n]中相同的图像块组成集合则训练集中扩充后的低分辨率人脸梯度特征图像集G_l中所有图像中编号为j的图像块和相似低分辨率人脸梯度特征图像块的编号集合[v₁,v₂,...,v_n]的图像块组成的集合为：

为方便书写，将记为：

其中M*(1+n)表示有M幅人脸图像，每幅人脸图像有1+n个图像块；

第十一步，利用相似块的位置编号求训练集中扩充后的高分辨率人脸梯度特征图像集G_h中的所有图像在相同编号处的图像块组成的集合：

对上述第二步中的训练集中扩充后的高分辨率人脸梯度特征图像集G_h中的第i,i＝1,2,...,M幅图像中编号为j和上述第九步中的相似低分辨率人脸梯度特征图像块的编号集合为[v₁,v₂,...,v_n]的图像块组成集合则训练集中扩充后的高分辨率人脸梯度特征图像集G_h中所有图像编号为j和[v₁,v₂,...,v_n]的图像块组成的集合为:

为方便书写，将记为：

第十二步，利用相似块的位置编号求扩充后低分辨率人脸图像集P_l中所有人脸图像在相同编号处的图像块组成的集合：

对上述第一步中的扩充后低分辨率人脸图像集P_l中的第i,i＝1,2,...,M幅人脸图像中编号为j和上述第九步中的相似低分辨率人脸梯度特征图像块的编号集合为[v₁,v₂,...,v_n]的图像块组成集合则P_l中所有图像编号为j和[v₁,v₂,...,v_n]的图像块组成的集合为:

为方便书写，将记为：

第十三步，利用相似块的位置编号求扩充后高分辨率人脸图像集P_h中所有人脸图像在相同编号处的图像块组成的集合：

对上述第一步中的扩充后高分辨率人脸图像集P_h中的第i,i＝1,2,...,M幅人脸图像中编号为j和上述第九步中的相似低分辨率人脸梯度特征图像块的编号集合为[v₁,v₂,...,v_n]的图像块组成集合则P_h中所有图像编号为j和[v₁,v₂,...,v_n]的图像块组成集合为:

为方便书写，将记为：

第十四步，计算第j块人脸图像块对应的权重矩阵：

先用如下的公式(9)计算上述第八步测试集中的低分辨率人脸图像I_tl对应的梯度特征图像的第j块人脸图像块g_tl,j与上述第十步得到的中所有人脸图像块的欧式距离集合再用如下的公式(10)计算上述第七步测试集中放大的高分辨率人脸图像I_th对应的高分辨率人脸梯度特征图像g_th的第j块图像块g_th,j与上述第十一步中的中所有图像块的欧式距离集合

得到以上距离后，第j块的权重矩阵W_j由公式(11)求出：

其中α为平滑因子；

第十五步，计算第j块人脸图像块对应的映射矩阵：

将训练集中由第j块低分辨率人脸图像块得到对应的第j块高分辨率人脸图像块的映射过程记为简单的映射关系，得到公式：

其中A_j表示第j块人脸图像块的映射矩阵，T表示矩阵的转置，最优映射矩阵由以下公式(13)得到：

由于高分辨率人脸图像块与低分辨率人脸图像块之间并不是简单的映射关系，利用第十四步得到的距离矩阵对公式(13)进行平滑约束得到以下平滑回归公式(14)：

其中其中tr(.)为矩阵的迹，为了使映射过程更平滑，加入正则化项得到如下公式(15)：

其中F表示Frobenius范数，λ用来权衡重建误差和A_j的稀疏性，通过化简求出第j块图像对应的映射矩阵：

其中E表示单位矩阵；

第十六步，重建测试集中的低分辨率人脸图像块得到高分辨率人脸图像块：

通过得到测试集中低分辨率人脸图像I_tl中的人脸图像块I_tl,j对应的高分辨率人脸图像块的高频信息，然后将高频信息插值到I_tl,j中得到重建的人脸图像块I′_th,j；

第十七步，组合所有重建图像块到重建的高分辨率人脸图像：

按照从上到下和从左到右的顺序，将重建得到的所有人脸图像块按照编号进行组合，组合过程中重叠部分取均值，得到重建的高分辨率人脸图像I′_th；

第十八步，构建金字塔人脸超分辨率重建模型：

(18.1)对上述第十七步得到的I′_th使用最近邻插值方法进行降维，得到降维后的低分辨率人脸图像I′_tl，使降维后的人脸图像与I_tl的大小相同；

(18.2)用上述第一步到第十七步的步骤对训练集中所有的低分辨率人脸图像进行重建，对训练集中的第i幅低分辨率人脸图像进行重建的过程为：作为测试集中低分辨率人脸图像，训练集中的和作为训练集，利用上述第一步到第十七步重建得到高分辨率图像然后用最近邻插值方法对进行降维，得到

(18.3)取高分辨率人脸图像的分块大小为R₂*R₂像素，R₂的数值为6～10，且R₂≠R₁，高分辨率图像块之间重叠的像素个数为K₂，低分辨率人脸图像的分块大小为(R₂/d)*(R₂/d)像素，d为缩小倍数且与第一步中的d取值相同，低分辨率图像块之间重叠的像素个数为K₂/d，将(18.1)得到的I′_tl作为测试集中低分辨率人脸图像，(18.2)得到的和作为训练集，再进行一次人脸图像超分辨率重建过程，得到最终的重建人脸图像；

至此，完成B.测试集中低分辨率人脸图像的重建过程，也最终完成基于回归模型的金字塔人脸图像超分辨率重建。

2.根据权利要求1所述基于回归模型的金字塔人脸图像超分辨率重建方法，其特征在于：所述第一步，扩充训练集中低分辨率人脸图像集和高分辨率人脸图像集中的尺寸为(d*a)*(d*b)像素，d是倍数，该d的数值为2；所述第三步，对扩充后的高分辨率人脸图像集P_h及其对应的高分辨率人脸梯度特征图像集G_h分别进行分块中的与左右相邻图像块之间重叠K₁列像素，该K₁的数值为4；所述第四步，对扩充后的低分辨率人脸图像集P_l及其对应的低分辨率人脸梯度特征图像集G_l分别进行分块中的每块大小为(R₁/d)*(R₁/d)像素，该d的数值为2；与左右相邻图像块之间重叠K₁/d列像素，该K₁的数值为4；所述第七步，对测试集中的放大的高分辨率人脸图像I_th及其对应的高分辨率人脸梯度特征图像g_th进行分块中的重叠的方式是当前图像块与上下相邻图像块之间重叠K₁行像素，与左右相邻图像块之间重叠K₁列像素，该K₁的数值为4；所述第八步，对测试集中的低分辨率人脸图像I_tl及其对应的低分辨率人脸梯度特征图像g_tl进行分块中的每块大小为(R₁/d)*(R₁/d)，该d的数值为2；与左右相邻图像块之间重叠K₁/d列像素，该K₁的数值为4；所述第十八步，构建金字塔人脸超分辨率重建模型的(18.3)中高分辨率图像块之间重叠的像素个数为K₂，该K₂的数值为4；低分辨率人脸图像的分块大小为(R₂/d)*(R₂/d)像素，d为缩小倍数且与第一步中的d取值相同，该d的取值为2。