[发明专利]一种基于多重残差学习的人脸增强方法

权利要求书

1.一种基于多重残差学习的人脸增强方法，其特征在于，包括如下步骤：

S10，准备多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集，分别作为多组训练集的低质样本和标签样本；

S20，构造残差学习神经网络，使用多组训练集依次拟合残差学习神经网络的参数，生成多重残差模型；

其中，上述步骤S20中，构造残差学习神经网络，该残差学习神经网络包括依次连接的输入层、若干中间层、以及残差层，其构造过程如下：

S21，在输入层使用64个3×3的卷积核对第一组低质样本进行卷积，并使用修正线性单元ReLU对卷积的结果进行非线性化；

S22，将步骤S21中得到的非线性化的结果作为第一个中间层的输入样本，在中间层使用64个3×3×64的卷积核对该输入样本进行卷积，并对卷积结果进行批规范化，使用修正线性单元ReLU对卷积结果进行非线性化；将第一个中间层输出的卷积结果作为第二个中间层的输入样本，使用64个3×3×64的卷积核对第一个中间层输出的卷积结果进行卷积，对卷积结果进行批规范化，并使用修正线性单元ReLU对卷积结果进行非线性化，以此循环，直至最后一个中间层；

S23，将步骤S22中最后得到的非线性化的结果作为残差层的输入样本，在残差层使用3×3×64的卷积核对该输入样本进行卷积；

S24，使用与第一组低质样本对应的训练集，拟合残差学习神经网络的参数，生成残差模型；

S25，依次使用余下的低质样本与训练集，循环步骤S21-步骤S24，生成多个处理不同低质程度的人脸图像的残差模型，即多重残差模型；

S30，使用所述步骤S20中生成的多重残差模型，采用迭代法对待处理的人脸图像进行增强。

2.如权利要求1所述的基于多重残差学习的人脸增强方法，其特征在于，所述步骤S10中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11，在每一组中，对各原始人脸图像集分别进行加噪、加模糊，得到与每一原始人脸图像集一一对应不同低质程度的低质人脸图像集；

S12，将多组低质人脸图像集分别作为多组训练集的低质样本，将多组原始人脸图像集分别作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干图像块，生成多组结构化的训练集。

3.如权利要求1所述的基于多重残差学习的人脸增强方法，其特征在于，所述步骤S10中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11′，在不同的低质环境下采集不同低质程度的低质人脸图像集，将采集的低质人脸图像按低质程度的高低依次进行分类；

S12′，将分类后的低质人脸图像分别作为多组训练集的低质样本，将每一低质人脸图像相对应的原始人脸图像集作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干图像块，生成多组结构化的训练集。

4.如权利要求1～3任意一项所述的基于多重残差学习的人脸增强方法，其特征在于，在步骤S30中，采用迭代法对待处理人脸图像进行增强的过程如下：

S31，将训练好的多重残差模型中的残差模型按照所处理人脸图像的低质程度由高到低的顺序，依次对待处理的人脸图像进行增强，最后一层残差模型的计算结果即为人脸增强结果；其中，每一层均使用当前层的残差模型对输入的人脸图像进行增强，其结果作为下一层残差模型的输入样本。

5.如权利要求4所述的基于多重残差学习的人脸增强方法，其特征在于，所述步骤S31中，第一层残差模型的输入样本为原始的待处理人脸图像，由第一层残差模型对其进行增强，其结果传入第二层残差模型；

从第二层残差模型开始，每一层残差模型的输入样本的计算过程如下：

S311，将上一层残差模型增强的人脸图像与原始的待处理人脸图像相加，得到叠加图像；

S312，将所述叠加图像按像素点值，映射到与原始的待处理人脸图像的像素点相同的取值区间，得到本层残差模型的输入样本。