[发明专利]一种基于深度学习的人脸超分辨率重建方法

说明书

技术领域

本发明属于图像处理领域，尤其涉及一种基于深度学习的人脸超分辨率重建方法。

背景技术

图像超分辨率(super resolution,SR)是从一个低分辨率图像得到高分辨率图像的过程，该技术主要被用于对图像空间分辨率的增强，其可以突破原有的系统成像硬件条件的限制，重新获得的高分辨率图像具有更高的分辨率，更多的细节信息，更高质量的画质的特点，是目前获取高精度图像的最有效、最低成本的途径之一。

在视频监控领域，由于摄像头的视场广且离人脸较远，所以检测到的人脸往往很小，同时受成像条件和成像方式等因素的限制，成像系统通常并不能获取原始场景中所有的人脸信息，在成像过程中会受到变形、模糊、下采样和噪声等诸多因素的影响，从而造成获取的人脸图像质量下降。因此，在不改变成像系统硬件设备的前提下，有效提高所获取的人脸图像质量，一直以来都是成像技术领域所致力解决的核心问题。该项技术可以应用在人脸识别、人脸视频图像传输、人脸图像恢复、人脸表情分析等领域，具有重要的研究意义。

图像超分辨率复原技术主要分为两大类，即基于重建的方法和基于学习的方法。目前有以下几种基于学习的代表性方法：Dong等率先将卷积神经网络引入到图像超分辨率问题当中，设计了基于深度卷积神经网络的图像超分辨率复原方法(Super resolution using convolution neural network,SRCNN)。Kim等在SRCNN的基础上借鉴用于图像分类的VGG网络结构，提出极深网络的图像超分辨率复原方法(Accurate image super-resolution using very deep convolutional network,VDSR)。与图像分类的极深网络不同，极深网络的超分辨率方法可以用更深网络对低分辨率图像和高分辨率图像之间映射关系建模。VDSR的方法具有20层深层网络，其缺乏层间信息反馈及上下文信息关联，为了解决此问题，Kim等提出了深度递归卷积神经网络的超分辨率方法(Deeply recursive convolutionak network,DRCN)。Christian等将生成式对抗网络用语SR问题,提出(Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network,SRGAN)。其出发点是传统方法一般处理的是较小的放大倍数，当放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节信息上的真实感。因此SRGAN使用GAN来生成图像中的细节。Bee Lim等提出了用于单一图像超分辨率的增强型深度残差网络(Enhanced Deep Residual Networks for Single Image Super-Resolution,EDSR)，是NTIRE2017夺冠论文。

虽然已有多种超分辨率复原方法，但是实际应用中仍存在一下问题：

(1)SR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应。

(2)真实多媒体应用中获得的低质量图像往往是多种降质因素并存的复杂降质图像，如低分辨率、失焦模糊、运动模糊、压缩失真和噪声等。

发明内容

本发明的目的在于针对上述技术不足，提出一种基于深度学习的人脸超分辨率重建方法，利用深度学习技术对低分辨率人脸数据进行训练得到低分辨率人脸到高分辨率人脸之间的映射函数，从而达到人脸超分辨率的效果。

本发明采用的技术方案是：

一种基于深度学习的人脸超分辨率重建方法，包括以下步骤：

步骤1：利用多任务卷积神经网络(Multi-task convolutional neural networks，MTCNN)算法提取人脸5个关键点。所述MTCNN算法由三个网络结构组成(P-Net,R-Net,O-Net),其中P-Net(Propsoal Network)主要获得人脸区域的候选窗口和边框回归向量；R-Net(Refine Network)在P-Net的基础上获得更精确的候选窗口；O-Net(Output Network)在R-Net基础上进一步提高窗口精确率，同时输出5个关键点坐标。所述5个关键点坐标包括左眼、右眼、鼻尖、左嘴角和右嘴角的坐标。