[发明专利]一种人脸图像超分辨率二次重建方法

说明书

本发明公开了一种人脸图像超分辨率二次重建方法，首先对采集的监控视频进行人脸检测与目标提取，获得一定量(20‑30帧)的目标人脸图像，基于评估模型对获取的图像进行质量评估，择优选择多帧(3‑5帧)。其次对上述结果进行超分辨率重建，使多帧图像合成为一高质量虚拟图像。再次构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，用于学习高分辨率样本图像与相应低分辨图像的映射关系；该模型以去除池化层的inception结构为基础，采用了降低学习难度的残差学习思想，使用了可以全面提取特征的多尺度聚合模块并加入反卷积层代替插值操作。最后用第三步的训练模型对第二步进行训练，得到高分辨率人脸图像。本发明能在可控的训练时间内，提高重建效果。

技术领域

本发明涉及图像处理和计算机视觉技术，具体涉及人脸图像超分辨率二次重建方法。

背景技术

近年来，公共场所的安全问题一直是一个备受人们关注的问题，特别是在人口密集的场所。国家为了城市管理和治安防控，提出了天网工程。因此，以后的监控系统会越来越普及。

由于拍摄距离和角度及监控设备本身的分辨率等问题，产生的人脸图像有时会模糊、残缺、噪声多、尺寸小，影响识别。

超分辨率重建就是由一幅或多幅低分辨率图像通过软件方法处理得到高分辨率图像，以利于识别。

现在常用的超分辨率重建技术可以概括为以下两种：基于重构和基于学习。

其中基于重构的方法通过对图像采集的过程建模，再利用一些从图像中获取的先验知识来约束求解过程。主要的重建模型框架有以傅里叶变换为基础框架(Tsai andHuang,1984)、迭代反投影法(Irani and Peleg,1991)、凸集投影法(Stark and Oskoui,1989)、最大似然法(Tom and Katsaggelos,1994)、最大后验估计法(Schulltz andStevenson,1996；Yuan et al.,2010)等,当前绝大多数超分辨率重建方法都是以这些模型方法中的一个或多个为基础在不同的理论和应用方面的进一步发展。

传统的思路为先求解运动位移矢量和模糊函数的参数后再进行超分辨率重建。后来，学者们提出对参数矢量和超分辨率图像进行联合求解，如沈焕锋将图像配准直接在高分辨率图像网格上进行，Segall等提出了对运动参数和超分辨率图像同时求解的方法等。这些方法利用参数与超分辨率图像之间的关系相互制约、相互促进、逐步迭代，使得求解向着有利的方向发展，得到最终的参数及超分辨率图像的最优解。

基于学习的方法为通过学习高低分辨率图像之间的映射关系对低分辨率图像进行超分辨率重建。其中，基于深度学习的方法比传统的方法具有更强大的表征能力脱颖而出，特别是从卷积神经网络引入超分辨率重建开始(Dong，Loy C，He K，et al.2014)。

发明内容

本发明的目的是将从监控视频中获得的低分辨率人脸图像进行重建，恢复图像的细节，以利于人脸识别，为此提出了一种人脸图像超分辨率二次重建方法。

本发明采用的技术方案是：人脸图像超分辨率二次重建方法包括以下步骤：

步骤1，获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些相对正面、清晰、光照强度较好、尺寸较大、运动变化较小的图像；步骤2，对择优选择出的多帧图像进行图像灰度化处理，并进行多帧超分辨率重建，生成一质量相对较好的虚拟人脸图像；步骤3，构建一个基于卷积神经网络CNN的人脸图像超分辨率重建模型MRES，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习。步骤4,利用步骤3获得的训练模型对步骤2的结果进行训练，得到最终的高分辨率人脸图像。

进一步，所述步骤1具体包括：