[发明专利]基于多尺度人脸部位特征字典的人脸图像复原系统

说明书

一种基于多尺度人脸部位特征字典的人脸图像复原系统，属于人脸图像复原技术领域。本发明针对现有人脸图像复原技术中，由真实低质量人脸图像获得高质量人脸图像需要依赖本人的高清人脸图像作引导，使其应用受限的问题。包括人脸特征字典离线生成模块：用于由高清人脸图像数据集中的每幅样本图像分别提取高清人脸部位特征，并对提取结果采用k均值聚类的方式得到人脸部位特征字典；人脸图像复原模块：用于对待复原退化人脸图像进行特征提取，并将特征提取结果与所述人脸部位特征字典进行融合，得到部位增强后的待复原人脸特征；再对待复原人脸特征进行重建，获得引导复原结果图像。本发明用于低质量图像的复原。

技术领域

本发明涉及基于多尺度人脸部位特征字典的人脸图像复原系统，属于人脸图像复原技术领域。

背景技术

人脸图像复原技术指的是将一张低质量人脸图像(例如模糊，噪声多，压缩伪影，远距离拍摄，低质量拍照设备，网络传输等原因造成的质量低)复原成一张高质量的人脸图像。随着技术和设备的发展，人们越来越追求高清质量的图像和视频，而手机厂商中也对拍摄的人脸图像质量有较高的追求。对于不可避免造成的低质量人脸图像，人们的视觉感受往往不能接受，并且这种图像的真实退化是无法模拟的，因此如何由一张真实低质量的图像复原出高质量的图像一直是企业和研究学者们研究的热点。

近年来，深度学习在图像质量提升方面有了突破性的进展，能够明显提升图像的视觉质量。但是，目前大多数方法都局限在单一图像的复原工作中，它通过卷积神经网络学习一个低质量人脸图像到高质量图像的映射。由于真实图像的无法模拟特征，这种方法无法适用于绝大多数真实图像，因此往往无法取得较理想的鲁棒性和效果。

为解决上述方法存在的问题，又提出了采用一张或者多张同一个人的高清图像作为引导，辅助网络的复原过程。这种过程虽然取得了一定的性能提升，但其需要事先已知退化图像的身份，并且具有高清的一张或者多张引导图，这种前提大大限制了其应用范围。

发明内容

针对现有人脸图像复原技术中，由真实低质量人脸图像获得高质量人脸图像需要依赖本人的高清人脸图像作引导，使其应用受限的问题，本发明提供一种基于多尺度人脸部位特征字典的人脸图像复原系统。

本发明的一种基于多尺度人脸部位特征字典的人脸图像复原系统，包括：

人脸特征字典离线生成模块：用于由高清人脸图像数据集中的每幅样本图像分别提取高清人脸部位特征，并对提取结果采用k均值聚类的方式得到人脸部位特征字典；

人脸图像复原模块：用于对待复原退化人脸图像进行特征提取，并将特征提取结果与所述人脸部位特征字典进行融合，得到部位增强后的待复原人脸特征；再对待复原人脸特征进行重建，获得引导复原结果图像。

根据本发明所述的基于多尺度人脸部位特征字典的人脸图像复原系统，所述人脸特征字典离线生成模块得到的人脸部位特征字典包括M个尺度，M为大于或等于1的整数。

根据本发明所述的基于多尺度人脸部位特征字典的人脸图像复原系统，当M为4时，采用VggFace模型对样本图像进行处理的过程包括：

对每幅样本图像依次进行卷积、激活、卷积、激活、池化、卷积、激活、卷积以及激活操作，获得尺度为1的高清人脸部位特征；

对尺度为1的高清人脸特征再依次进行激活、池化、卷积、激活、卷积、激活、卷积、激活以及卷积操作，获得尺度为2的高清人脸部位特征；

对尺度为2的高清人脸特征再依次进行激活、池化、卷积、激活、卷积、激活、卷积、激活以及卷积操作，获得尺度为3的高清人脸部位特征；

对尺度为3的高清人脸特征再依次进行激活、池化、卷积、激活、卷积、激活、卷积、激活以及卷积操作，获得尺度为4的高清人脸部位特征；

其中激活操作均采用ReLU激活函数，池化操作均采用最大池化操作；