[发明专利]一种基于长短期记忆网络的换脸视频检测方法

权利要求书

1.一种基于长短期记忆网络的换脸视频检测方法，其特征在于：包括如下步骤：

(1)获取待检测的视频数据集，将数据集划分为训练集、验证集和测试集；

(2)分别对划分后的各个数据集的视频数据提取关键帧及其后续帧，提取帧图像中的人脸图像，并对人脸图像进行增强处理；

(2.1)从视频数据中定位关键帧，并提取关键帧及其之后的K-1帧图像；定位视频关键帧的方法如下：

计算相邻帧之间的帧差欧式距离，K帧图像总共有K-2个帧差欧式距离；

计算K-2个帧差欧式距离的极值，以及各极值点对应的帧差欧式距离值，计算各距离的均值；所述帧差欧式距离的计算公式如下：

其中eulerdisdiff(i)为第i个帧差欧式距离，x_i,x_i+1,x_i+2分别为第i、i+1、i+2帧图像的灰度值，K为提取的帧图像数目；

比较各极值点所对应帧差欧式距离值与均值的大小，取出大于均值的点，其对应的帧图像即为所要选的关键帧图像；

(2.2)对提取到的各帧图像中的人脸进行定位和裁剪，得到人脸图像；

(2.3)通过高通滤波器对人脸图像进行处理，得到增强后的图像，方法如下：

对人脸图像的边界进行填充，得到与原图相同大小的人脸填充图像；

使用标准Laplacian掩模对得到的人脸填充图像进行卷积操作，提取图像边缘；

将步骤(2.2)得到的人脸图像与提取的图像边缘进行计算，得到处理后的人脸图像；

采用的标准Laplacian掩模为：

人脸图像和提取的图像边缘计算公式为：

g(x,y)＝f(x,y)+t(x,y)

其中g(x,y)为增强后的人脸图像在(x,y)处的像素值，f(x,y)为输入的人脸图像在(x,y)处的像素值，t(x,y)表示提取到的图像边缘在(x,y)处的像素值；

(3)使用卷积神经网络分别对各个数据集的人脸图像提取特征，并对提取的特征进行按序拼接，得到各个数据集的特征序列；

所述卷积神经网络使用在ImageNet图像分类数据集中训练好的Xception网络模型；加载Xception网络模型，使Xception网络参数保持不变，由其输入层至最后一个全连接层构成特征提取模块；将步骤(2)得到的人脸图像输入到网络中进行特征提取，将网络最后一个全连接层的输出作为该帧图像的特征；

(4)将特征序列作为长短期记忆网络的输入，该特征序列属于换脸视频的概率值作为网络输出，对网络进行训练，通过验证集测试分类精度，调整网络模型，直到分类精度满足预期，得到训练完成的网络模型；

(5)将训练完成的网络模型作为分类器，将测试集的特征序列输入分类器中进行分类，得到分类结果即检测视频为换脸视频的概率。

2.根据权利要求1所述的一种基于长短期记忆网络的换脸视频检测方法，其特征在于：在步骤(2.2)中，对提取到的各帧图像中的人脸进行定位和裁剪，方法如下：

加载Haar特征检测器；将当前的图像进行灰度化处理，将灰度化后的图像输入到Haar特征检测器进行人脸位置判断；根据得到的人脸位置信息对原始帧图像进行裁剪，得到人脸图像。

3.根据权利要求1或2所述的一种基于长短期记忆网络的换脸视频检测方法，其特征在于：在步骤(4)中，使用长短期记忆网络进行训练的方法如下：

(4.1)将步骤(3)中提取到的特征序列作为网络输入，网络输出为该特征序列来自换脸视频的概率值；根据得到的概率值与视频标签值计算神经网络的损失函数值；

(4.2)计算损失函数关于网络权重和偏置的偏导数，然后使用梯度下降法更新网络权重和偏置，降低损失值，提高网络的分类效果；

(4.3)每一轮训练结束后，使用验证集对网络模型进行测试，计算训练后的网络的分类精度；若分类精度不满足预期，调整网络模型的超参数，继续对网络进行训练，直至分类精度满足预期，得到训练完成的网络。