[发明专利]基于条件生成对抗网络的多监控视频人脸合成正脸的方法

说明书

本发明公开了一种基于条件生成对抗的多监控视频人脸合成正脸的方法，包括采集监控视频中的无约束偏转角度人脸和正脸，筛选出正脸，得到无约束偏转角度人脸图像数据集和正脸图像数据集，并对每一个人的人脸图像数据集进行标注；对每个人的正脸图像数据集进行人脸对齐；构建条件生成对抗网络，采用对抗训练的策略对生成器模型和卷积神经网络判决器模型进行训练，直到条件生成对抗网络收敛稳定，最后将同一监控视频捕捉到的人脸图像输入训练好的生成器输入，得到一张正脸图像。

技术领域

本发明涉及视频图像处理技术，具体涉及基于条件生成对抗网络的多监控视频人脸合成正脸的方法。

背景技术

近年来，随着深度学习与大数据的蓬勃发展，在图像处理领域，特别是人脸识别领域得到了快速的发展，获得了比传统方法更好的准确率，在某些数据库上的性能已经超过了人类。目前的算法大多针对正面姿态的人脸识别问题，但对于偏转人脸的识别却还没有一个较好的解决方案。

在监控视频安防领域，由于监控视频中被识别的人处于无约束状态，包括低头或者各种角度的人脸偏转情况，因此监控摄像头捕捉到的人脸往往是处于各种偏转角度下，严重降低了人脸识别及认证的结果。因此，解决无约束角度偏转的人脸识别问题，对监控视频安防具有重大意义。

由于在监控视频下的同一个运动事件中，监控摄像头能够捕捉到属于同一个人的多张不同角度人脸图像。这些不同角度的人脸图像，携带着人脸丰富的信息与特征。如何将这些在监控视频下具有相同环境条件的多张无约束角度偏转人脸的特征利用起来提升人脸识别的性能，成为当前智能监控视频安防领域的关键问题。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供基于条件生成对抗网络的多监控视频人脸合成正脸的方法。

本发明采用如下技术方案：

一种基于条件生成对抗网络的多监控视频人脸合成正脸的方法，包括如下步骤：

S1采集监控视频中的无约束偏转角度人脸，并将同一个人的脸归为一类，筛选出正脸，得到无约束偏转角度人脸图像数据集和正脸图像数据集，并对每一个人的人脸图像数据集进行标注；

S2对每个人的正脸图像数据集根据人脸关键点进行仿射变换实现人脸对齐；

S3构建条件生成对抗网络，所述条件生成对抗网络包括用于生成正脸图像的基于多输入自动编码器的生成器模型和用于评价合成图像质量的基于局部感受野评分的卷积神经网络判决器模型；

S4采用对抗训练的策略对生成器模型和卷积神经网络判决器模型进行训练，直到条件生成对抗网络收敛稳定；

S5将N张同一监控视频片段下捕捉到的无约束偏转角度的人脸作为S4中已经训练好的生成器的输入，得到一张跟输入人脸图像同属于一个人的正脸图像。

所述人脸对齐关键点包括眼睛、鼻子、嘴巴及轮廓，人脸对齐具体是正脸图像的左眼和右眼位于同一水平线上。

所述S2还包括图像预处理，具体包括将无约束偏转角度人脸图像数据集中的图像转化为灰度图，正脸图像集中的正脸图像保持RGB彩色图像，并将图像尺寸放大到M×M像素，放大后的图像作为生成器模型的输入。

所述基于多输入自动编码器的生成器模型由输入层、编码层、解码层及卷积映射层构成，输入层将N张输入图像组合成一个N通道的数据层，输入层连接编码层，编码层连接解码层，解码层输出连接卷积映射层，最后输出正脸图像。

所述S3中，所述卷积神经网络判决器模型是将生成器模型合成的正脸和属于同一个人的正脸分别与生成器的输入人脸图像构成两个训练样本，分别作为卷积神经网络判决器的输入，根据这两个训练样本得到两个评价分，将两个评价分求和为判别器输出。

条件生成网络的损失函数为：