[发明专利]一种基于正交偏最小二乘的人脸图像超分辨率重建方法

权利要求书

1.一种基于正交偏最小二乘的人脸图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1)对训练集中的高分辨率和低分辨率图像进行特征提取，使用PCA对数据降维，利用OPLS法进行特征提取，计算投影向量，并使图像矩阵投影到子空间，使得高分辨率和低分辨率图像矩阵间的协方差最大，将输入的低分辨率人脸图像也投影到相同的子空间中，在子空间中利用领域重建构造输入人脸对应的高分辨率全局人脸；

步骤1)中所述高分辨率全局人脸重建包括以下步骤：

(1)对于训练集中的高分辨率图像集X＝{x₁,x₂,…,x_m}，低分辨率图像集Y＝{y₁,y₂,…,y_m}，分别去除其均值μ_x、μ_y，使用PCA分别对高分辨率图像集和低分辨率图像集进行特征提取：

其中T_x和T_y分别为高分辨率和低分辨率图像的PCA变换矩阵，1表示元素均为1的列向量；

(2)利用主成分特征和的均值和中心化和后，利用OPLS对和进行特征提取，通过求解如下广义特征值问题：

其中E[·]代表数学期望，使得满足如下条件：

从W_x和W_y中选择特征值最大的d对特征向量组成投影矩阵V_x、V_y，将主成分投影到子空间得到和

(3)对于测试的低分辨率图像I_t，同样求得其主成分使用投影向量V_y将其投影到相同子空间：使用邻域重建方法在子空间中寻找k个最近邻，计算相应的权重值

其中，K_ij＝(C_t-c_yi)^T(C_t-C_yj)，接下来使用权重值构造出高分辨率全局脸在子空间中的特征：

将其从子空间特征转换回像素域以得到高分辨率全局脸图像I_g：

步骤2)计算得到高分辨率和低分辨率人脸残差图像集，将残差图像分成若干边长相等、互相重叠的方块，利用OPLS将其投影到子空间，在子空间中利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿；

步骤2)中所述残余补偿包括以下步骤：

(1)对训练集中的所有低分辨率图像使用上述的步骤求其高分辨率全局脸图像集Y_g，得到高分辨率图像集的残差集R^x＝X-Y_g，低分辨率图像集的残差集R^y＝Y-Y′_g以及输入低分辨率测试图像的残差R^t＝I_t-I′_g，其中Y′_g和I′_g分别表示将Y_g和I_g进行下采样后的结果；

(2)将所有残差图像分成若干大小相等、互相重叠的残差块N代表分块数量，表示位于i位置的所有高分辨率训练图像残差块的集合，表示位于i位置的所有低分辨率训练图像的残差块的集合；将残差块通过PCA进行降维处理，对于测试图像的每一残差块，其对应的训练集由以及中位于该位置的块以及四周的八个位置的块共同组成，在训练残差块中寻找k’个最近邻以构造该位置的权值集

将计算得到的残差块合并得到R^h，重叠的区域取平均值；将R^h转换回像素域得到高分辨率残差人脸I_r；

步骤3)最终重建完成的高分辨率人脸图像为高分辨率全局人脸加上高分辨率人脸残余补偿。

2.根据权利要求1所述的基于一种正交偏最小二乘的人脸图像超分辨率重建方法，其特征在于，步骤3)中所述最终重建完成的高分辨率人脸图像为I_h＝I_g+I_r。