[发明专利]一种人脸图像超分辨率二次重建方法

权利要求书

1.人脸图像超分辨率二次重建方法，其特征在于，包括以下步骤：

步骤1，获取监控视频中过路行人的视频序列，然后进行人脸检测，提取目标个体人脸图像，并对提取的目标人脸图像进行质量评估，选择一些正面、清晰、光照强度好、尺寸大、运动变化小的图像；步骤2，对择优选择出的多帧图像进行图像灰度化处理，并进行多帧超分辨率重建，生成一质量好的虚拟人脸图像；步骤3，构建一个基于卷积神经网络CNN的人脸图像超分辨率重建MRES模型，用于高分辨率的样本图像与相应的低分辨图像之间映射关系的学习；步骤4,训练得到最终的高分辨率人脸图像；

所述步骤3的MRES模型按照模型搭建过程依次包括以下内容：

多尺度聚合模块：以inception结构为基础进行改变；具体变化为去除其中的池化层，并在5*5和3*3的卷积层前再添加一个1*1的卷积层，变化后的多尺度聚合模块同时使用不同大小的卷积核，可以提取不同的特征，增加了特征的多样性，并通过过滤器级联融合来实现特征融合；

残差块：采用残差学习的思想，即通过添加一个恒等映射x将学习目标H(x)＝F(x)+x变为F(x)，其中F(x)为输入图像与输出图像之间的差别，即残差；通过这种方法学习到的残差图像稀疏；

反卷积层：加入反卷积层后的网络，不需要先将输入的图片进行插值，即直接将低分辨率图像映射到高分辨率图像，加快了运行速度；卷积所增加的padding，全部为0，卷积后的图像是4*4，而原图是2*2；

激活函数：选用的激活函数为PReLU，激活函数的引入是为了增加神经网络模型的非线性；PReLU的函数公式为f(x)＝max(ax,x)。

2.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤1具体包括：

首先对摆放位置不太合理的监控摄像头位置方向进行调整，获取过路行人视频，然后对一小段时间内目标人脸进行检测和提取，得到目标人脸图像；其次通过图像质量评估模型择优选择多帧。

3.根据权利要求2所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤1目标人脸图像进行质量评估的具体内容为：

通过矩阵的对称性来评估图像的正面性；

通过矩阵的核范数来表示图像的清晰度；图像的秩可以简单理解为图像所包含信息的丰富程度，所以可以利用图像的秩来表示图像的清晰度；由于图像的秩近似为矩阵的核范数，所以使用核范数来表示图像的清晰度；

利用YCbCr颜色空间中面部的亮度分量Y的平均值C来表示图像的光照强度；

利用人脸在人脸检测框中所占大小D表示人脸图像尺寸的大小；

通过加权和归一的方式来作为综合评价依据，选择5-8帧；将评分最高的图像作为参考图像，并从选择出的几帧图像中挑选3帧与参考图像的运动变化最小的图像。

4.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤2的具体过程为：

步骤2.1，先对择优选择出的多帧图像进行灰度化处理，减少色彩对图像处理的干扰，也可以降低维度，大大减少工作量；

步骤2.2，使用基于重构的方法对多帧人脸图像进行超分辨率重建；多帧人脸图像超分辨率重建方法主要过程如下：

步骤2.2.1，使用运动估计方法来对多帧人脸图像进行配准；

步骤2.2.2，对模糊函数进行求解，即成像系统的PSF进行估计；

步骤2.2.3，选择合适的图像超分辨率重建模型；

步骤2.2.4，对运动参数矢量、模糊函数和图像超分辨率重建图像进行联合求解，得到最优解。

5.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤4中，利用步骤3获得的训练模型对步骤2的结果进行训练，得到最终的高分辨率人脸图像。

6.根据权利要求1所述的人脸图像超分辨率二次重建方法，其特征在于，所述步骤4的具体训练过程为：

通过最小化重建图像F(X)和相应的高分辨率图像Y之间的损失函数L(θ)来实现，得到需要的估计参数θ＝{W1；W2；..Wn；B1；B2；..Bn},其中Wi为第i层卷积神经网络的系数，Bi是第i层卷积神经网络的偏置向量，其中i＝1，…，n；n为卷积神经网络的层数，这里的损失函数可以取均方损失函数MSE；

网络训练时，可以输入不同尺寸的图像，以使得网络可以适用于不同的输入图像尺寸，具体方法为将几个指定比例的训练数据集合并为一个大数据集，并将其作为训练样本进行训练。