[发明专利]一种面向识别的低分辨率人脸图像超分辨率方法

说明书

本发明公开了一种面向识别的低分辨率人脸图像超分辨率方法。包括：通过少量收集的监控场景降质样本，采用变分自编码网络学习样本数据的降质分布规律；基于数据降质分布规律，通过采样策略扩充服从数据降质分布规律的多样性降质样本；对高分辨率数据样本通过风格迁移网络进行样本降质模拟生成处理，以获取与真实降质样本同分布的对应低分辨率人脸样本；使用高分辨率数据样本和对应生成的低分辨率降质样本对预设的人脸图像超分辨率网络进行训练，直到网络收敛为止。本发明能够使人脸超分辨率增强网络不仅能生成高质量的清晰人脸，同时关注身份信息相关纹理的合成。本发明够在低分辨率样本量较少的情况下，提高监控场景下低分辨率人脸图像的识别率。

技术领域

本发明涉及人脸图像超分辨率技术领域，特别涉及基于人脸超分辨率预处理的人脸识别方法。

背景技术

人脸识别技术具有非强制性、非接触式和并发处理等优势，在实际应用场景下能够同时满足对多个人脸的过滤、认证及识别，已经被广泛用于楼宇、小区、商场和地铁的视频监控及手机等移动客户端的金融支付安全认证等生活领域。

近年来，随着深度学习的发展，人脸识别技术的识别精度得到了质的提升，其识别准确性在认证数据集LFW上已经超越了人类肉眼辨识的精度。但是，这些主流的人脸识别算法主要围绕在高清人脸识别任务上。如，人脸认证数据集LFW源于网络名人集，这些人脸图片大都是由专业摄影师用专业摄像机抓拍，人脸图片不仅分辨率高且光照条件理想，使人脸细节纹理丰富、姿态变化小，从而获取的人脸特征分布比较理想。而在监控场景中，由于监控摄像头架设角度、环境光照变化及抓拍过程中人脸与摄像头距离较远和目标相对运动等因素。抓拍到的人脸图像呈现不同低分辨率、光照及姿态变化大和不同程度的模糊，丢失了大量的人脸身份细节纹理信息，导致这些算法直接用于监控场景，其识别性能显著下降。如何提高监控场景低分辨率人脸识别精度对人脸识别研究提出了新的挑战。

最直观的解决方案是先对低分辨率人脸图像进行超分辨率重构，然后用生成的高分辨率人脸图像进一步人脸识别。目前，人脸图像超分辨率技术一直是研究的热点，尤其是近年来，基于深度学习的人脸图像超分辨率技术取得了令人振奋的发展。但是，一个低分辨率人脸可能对应多个高分辨率人脸，因此，人脸图像超分辨率是一个典型的病态求逆问题，需要引入更多的人脸先验信息来约束学习过程进行精准建模。但是目前大多数基于深度学习的人脸图像超分辨率方法一般采用均方误差(MSE)【1】作为优化目标，重建的人脸图像过于平滑，缺少纹理细节，不利用后续的人脸识别任务。当前改进的方法主要围绕在联合多损失函数指导和人脸先验信息的指导两个方面。典型地，Ledig.C【2】等人提出对抗生成网络的人脸图像超分辨率方法可以获取更多的纹理细节，通过对抗损失指导模型训练，提升视觉上的图像质量。但是，研究表明这些对抗生成的纹理细节很多都是噪声纹理，进一步误导了后续的识别任务；Johnson.J【3】等人使用预训练好的分类模型，通过计算图像的中间语义损失来促进生成高分辨率图像的语义保持；为了进一步约束超分辨率网络的学习，Bulat.A【4】等人利用人脸关键点结构先验知识来辅助人脸图像的超分辨率网络学习；Chen.Y【5】等人利用人脸解析部件作为结构先验知识来辅助人脸图像的超分辨率网络学习。这些研究都是联合不同的损失函数和挖掘不同的人脸先验知识来改善人脸图像的视觉质量效果，并没有充分考虑对超分辨率人脸图像身份信息的增强。

此外，目前大部分人脸超分辨率研究中，低分辨率样本的获取均是通过下采样插值来获取，将图像的降质过程简化为了插值下采样操作。然而，由于监控环境的不可控性，天气光照条件复杂多变，导致抓拍的人脸图像降质复杂多样，多种影响因素混合交叠导致了最终的成像效果。简单的插值下采样不足以模拟实际环境下的复杂图像降质过程。仅仅使用插值下采样合成的降质样本对无法表达监控场景中的复杂降质过程。由于模拟降质数据域(训练集)和实际降质数据域(测试集)存在域的偏移，进一步导致了现有人脸超分辨率模型难以在监控场景中有效应用。

因此，基于以上几个问题，亟需一种面向识别的人脸图像超分辨率方法，不仅能实现对监控场景图像降质过程的精准刻画，同时提高超分辨率人脸图像的识别精度。