[发明专利]一种基于区域深度卷积神经网络的人脸超分辨率算法

说明书

技术领域

本发明涉及图像超分辨率领域，尤其涉及一种基于区域深度卷积神经网络的人脸超分辨率算法。

背景技术

Simon和Kanade等人专门针对人脸图像提出了一种人脸幻构(face hallucination)方法，人脸幻构就是一种由输入低分辨率人脸图像产生高分辨率人脸图像的图像超分辨率重建方法。

传统基于重建的超分辨率算法适用于放大倍数较小的情况，当放大倍数增大，重建方法不能获得更多的先验知识，限制了其重建质量。基于学习的人脸超分辨率算法可以分为单层方法和多层方法，单层方法利用人脸图像的局部块来共享最大的相似性，获得最优权重向量，方法是利用深度网络从低分辨率图像提取人脸特征来描述重建高分辨率图像。单层方法描述特征的能力不足，多层方法没有利用区域更为精确的先验知识，因此重建效果并不理想。

近年来，学者们提出了大量的基于学习的人脸超分辨率方法。例如，2010年Yang等人提出一种基于稀疏编码的自适应选择相邻最相关(sparse representation)人脸超分辨率方法。Chang等人提出的局部线性嵌入(Locally linear embedding)，LLE是一种非线性降维方法,它能够使降维后的特征信息不丢失，从而实现特征空间维数的压缩。Ma等人提出了基于最小二乘法表征(least squares representation)方法,LSR通过图像块的输出权重对低分辨率图像进行超分辨率重建。Jiang等人提出了局部约束表达(Locality constrained Representation)，LCR同时保留了稀疏性和局部性。然后，单层表达能力不足，不能充分利用人脸图像上的结构化知识。

为了解决单层表达框架精度不足的问题，Dong等人提出了基于深度学习的卷积神经网络超分辨率(Deep Convolutional Network for Image Super-Resolution)算法，SRCNN具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。然而，SRCNN方法随机从样本图像中取得训练图像块，无法充分利用人脸图像中区域块的结构化先验，降低了深度学习网络获得更为准确的重建先验的效率。

发明内容

本发明要解决的技术问题在于针对现有技术中单层学习结构的表达能力不足，不能充分利用人脸图像上的结构化知识的缺陷，提供一种基于区域深度卷积神经网络的人脸超分辨率算法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于区域深度卷积神经网络的人脸超分辨率算法，包括以下步骤：

训练阶段：

S1、获取训练的高分辨率人脸图像，对其处理得到低分辨率人脸图像，使用滑动窗口自适应的选择相邻的图像块，将低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；

S2、将局部区域作为输入，通过第一层卷积层和修正线性单元层提取得到局部特征；

S3、将局部特征作为输入，通过第二层卷积层和修正线性单元层，进行非线性变化得到非线性特征；

S4、将非线性特征作为输入，通过第三层卷积层和修正线性单元层，得到重建后的高分辨率图像块；

S5、根据高分辨率图像块的重叠部分，对高分辨率图像块进行拼接，输出完整的高分辨率人脸图像，将输出的高分辨率人脸图像与训练的高分辨率人脸图像进行比较，根据比较结果的相似程度，调整多层卷积层和修正线性单元层的参数；

测试阶段：

S6、根据训练阶段得到的多层卷积层和修正线性单元层组成超分辨率网络，输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。

进一步地，本发明的步骤S1中处理得到低分辨率人脸图像的方法为：

获取的高分辨率人脸图像为{Y^m|1≤m≤M}∈R^a×b，M表示训练样本的个数，低分辨率人脸图像为{X^m|1≤m≤M}∈R^(a/t)×(b/t)，其变换公式为：

X^m＝D(blur)Y^m

其中，D是下采样函数，blur系统模糊函数。

进一步地，本发明的步骤S1中划分相互重叠的图像块的方法为：

利用滑动窗口将低分辨率人脸图像划分为S个局部区域；