[发明专利]一种伪造人脸视频鉴别方法、系统和可读存储介质

权利要求书

1.一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，包括以下步骤：

对输入的视频序列进行采样，得到N个视频帧；

对视频帧进行检测、裁剪和对齐人面获得优质人脸图像，得到待测样本集；

将所述待测样本集输入至训练好的注意力机制的深度卷积神经网络模型，得到输出的结果，所述结果为对视频真伪情况判断的结果。

2.根据权利要求1所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于：

利用python使用dlib包对视频帧进行人脸的检测裁剪对齐，再经过筛选，获得优质人脸图像，得到待测样本集。

3.根据权利要求1所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，所述注意力机制的深度卷积神经网络模型的训练方法为：

收集真实人脸图像，利用标签标注为正样本图像；

利用dlib工具对收集到的所述正样本图像进行人脸检测和面部区域的提取，得到面部区域图像；

将得到面部区域图像，进行筛选，去除质量差的图像；

将筛选后的面部区域图像对齐成多个比例的图像，以便得到更多的分辨率实例；然后随机选取一个比例，接着使用核大小为5×5的高斯模糊将选取的该比例的面部区域图像进行光滑处理；

经光滑处理后的面部区域图像经过仿射变形回到原始图像的大小，从而模仿了伪造人脸假视频的伪影；

通过改变仿射翘曲面区域的形状，得到负样本图像；

在所述正样本图像和负样本图像中，多次裁剪预设的Rol区域，得到注意力机制的深度卷积神经网络模型的输入，进行注意力机制的深度卷积神经网络模型的训练。

4.根据权利要求3所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，在所述正样本图像和负样本图像中，多次裁剪预设的区域，所述得到注意力机制的深度卷积神经网络模型的输入，具体为：

获得所述正样本图像和负样本图像后，对所述正样本图像和负样本图像进行裁剪；

使用face landmarks技术来确定RoI区域，y坐标为：其中y₀,x₀,y₁,x₁确定了包围整张脸的最小矩形，变量的取值在[0，h/5]和[0，w/8]中；

最后RoI的大小调整为224×224，以供CNN模型训练使用；将每个训练的RoI区域裁剪10次，平均所有RoI的预测值作为检测假视频概率的最终结果。

5.根据权利要求1所述的一种基于卷积神经网络和注意力机制的伪造人脸视频鉴别方法，其特征在于，建立所述注意力机制的深度卷积神经网络模型，具体为：

利用直接回归法来实现attention-basedlayer层，使用辅助卷积层计算空间注意图，由卷积层和信道乘法、激活运算组成；

在CNN中插入attention-based layer，选择Resnet50作为了骨干网络，将attention-based layer插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。