[发明专利]一种基于长短期记忆网络的换脸视频检测方法

说明书

本发明公开了一种基于长短期记忆网络的换脸视频检测方法，该检测方法包括视频帧提取、图像特征提取、长短期记忆网络训练测试。其中，视频帧提取负责提取视频片段中的关键帧及其之后的连续多帧图像，然后对图像中人脸区域进行裁剪，并使用高通滤波对人脸图像进行处理，提取人脸图像中的细节信息；利用在ImageNet图像分类数据集中训练好的Xception卷积神经网络对图像进行特征提取，将卷积神经网络的输出作为图像的特征，然后将各帧图像提取到的特征拼接为特征序列，输入到长短期记忆网络进行训练，最终得到一个高精度的换脸视频分类器。本发明充分利用了伪造视频中存在的帧间不一致性，大大提高了伪造视频的检测精度，取得了很好的分类效果。

技术领域

本发明属于模式识别技术领域，尤其涉及一种基于长短期记忆网络的换脸视频检测方法。

背景技术

目前，视频作为通信的重要内容，在人们的生活中起着重要的作用。同时，视频也能够作为法庭中的证据。然而近年来，由于深度学习等技术的发展，针对视频的伪造技术已经达到了一个很高的水平。其中，深度伪造技术可以通过在原始视频中插入合成人脸来生成人脸伪造视频。一方面，这类换脸视频被大量用于色情视频，在很大程度上对被换脸人物的形象造成极大伤害，另一方面，这类换脸视频能够使人们产生误判，甚至影响到人们的决策。深度伪造视频已经成为一个严重的社会问题，对社会造成了严重的负面影响。现有的伪造人脸检测技术主要分为如下两类：

第一类是基于帧内图像瑕疵的检测方法，该方案通过提取视频的每一帧，对视频的每一帧进行预处理后，提取相关特征进行检测，然后计算视频的伪造率，从而判断视频是否为伪造视频。现有的检测方法主要利用换脸过程造成的图像瑕疵进行检测，这些瑕疵主要包括将合成人脸嵌入到原视频中造成的合成边缘色差、分辨率不一致等问题。然而，在分辨率较低的视频中，视频瑕疵很容易被掩盖，从而使得此类检测方法的检测效果大大降低。

第二类是基于帧间一致性的检测方法，此类方案主要是基于视频各帧之间的一致性进行检测，在原始人脸视频中，相邻帧之间应当存在一定的相关性，表情变化幅度很小，然而在伪造人脸视频中，由于各帧图像都是分别制作的，没有时间上的相关性，因此会出现表情突变的情况。目前这一方案的检测方法主要使用预训练好的卷积神经网络对视频各帧进行特征提取，对提取到的特征序列进行一致性分析，即采用递归神经网络进行训练，分析特征在时间上的相关性，从而对伪造视频进行检测。但是，这一方案在训练递归神经网络时极易造成网络不收敛等问题，计算成本高。

发明内容

发明目的：针对以上问题，本发明提出一种基于长短期记忆网络的换脸视频检测方法，通过该方法可以提高伪造人脸视频检测的精度，减少视频的分类检测时间。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于长短期记忆网络的换脸视频检测方法，包括如下步骤：

(1)获取待检测的视频数据集，将数据集划分为训练集、验证集和测试集；

(2)分别对划分后的各个数据集的视频数据提取关键帧及其后续帧，提取帧图像中的人脸图像，并对人脸图像进行增强处理；

(3)使用卷积神经网络分别对各个数据集的人脸图像提取特征，并对提取的特征进行按序拼接，得到各个数据集的特征序列；

(4)将特征序列作为长短期记忆网络的输入，该特征序列属于换脸视频的概率值作为网络输出，对网络进行训练，通过验证集测试分类精度，调整网络模型，直到分类精度满足预期，得到训练完成的网络模型；

(5)将训练完成的网络模型作为分类器，将测试集的特征序列输入分类器中进行分类，得到分类结果即检测视频为换脸视频的概率。

进一步地，在步骤(2)中，对视频数据进行帧提取并提取帧图像中的人脸图像，方法如下：

(2.1)从视频数据中定位关键帧，并提取关键帧及其之后的K-1帧图像；