[发明专利]基于空间局部二值模式与光流梯度的人脸伪造视频检测方法

说明书

本发明公开一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，首先，对人脸视频中的人脸进行定位分割，得到人脸区域图像块序列；其次，从该序列中提取空间3D局部二值模式描述符；然后，利用光流法估计人脸视频的运动模式，结合方向梯度直方图构建真假人脸视频的运动特征；最后，联合两种特征并利用支持向量机进行训练，对真假人脸进行伪造检测。本发明从动态纹理的角度考虑伪造人脸视频，与基于深度学习的方法相比较，将大大降低时间消耗；且最终的特征能够从全局局部两个角度辨识真假人脸，充分描述视频的全局运动特征，提高伪造人脸视频检测的精度。

技术领域

本发明属于机器学习与数字取证结合的领域，具体涉及一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法。

背景技术

随着技术的进步，对人脸视频内容的伪造或篡改的现象层出不穷，因此对视频的数字取证也成伪了信息安全中的一个重要研究方向。近年来，人脸视频伪造问题受到人们的广泛关注。个人隐私如何保护，视频能否作为有效的法律证据，都成为了目前急需解决的问题。伪造人脸视频作为一种基于深度生成模型的人脸视频伪造方法，在构建模型时使用了一种自编解码架构。在模型的训练阶段，输入人脸图像通过仿射变换被扭曲，自编码器通过训练将这种任意随机扭曲的人脸进行还原重建。针对不同身份的人脸需要各自训练其自编码器，然而编码器的权重是共享的，而解码器的权重与身份是高度相关的。因此在测试即换脸阶段，通过组合不同身份的输入图像与解码器，可以实现人脸身份的交换而保持表情动作不变。整个训练过程包含：1)获取正常人脸照片；2)扭曲变换人脸照片；3)编码器编码向量；4)解码器解码向量；5)还原正常人脸照片等五个步骤。后续的人脸伪造技术在自编码器的框架之上，又引入了生成对抗网络技术，不但降低了同等条件下的模型参数量和模型复杂度，同时使生成的人脸更为清晰，大大降低了对原图的依赖，显著提升了换脸的效果。人脸伪造算法通常需要大量的图像和视频数据来训练模型创建逼真的图像和视频，但是名人政要等公众人物的视频和图片在网上很容易获取，所以它们很容易就成了人脸伪造技术的原始数据。伪造人脸技术制作的第一个视频出现在2017年，一位名人的脸被换到色情视频中。这在一定程度上对被换脸人物的形象造成了损坏。伪造人脸视频算法一旦被恶意用来制作政治人物演讲视频，将可能影响政治选举、导致金融市场混乱，甚至可能引起国家之间的紧张局势，对世界安全构成严重威胁。

尽管如今已经有大量伪造人脸检测研究方法被提出，但是还存在一些明显的缺陷与不足。大多数针对伪造人脸视频的检测算法将视频分解成独立的帧，在帧内进进行伪造检测。这类方法只考虑了基于图像的伪造瑕疵，而伪造算法在生成人脸视频时，并没有引入时域信息，因此在时间尺度上残留了大量可以用来区分真假人脸的特征。然而大部分检测方法只关注了帧级别的篡改痕迹，而没有关注到时间域上的篡改痕迹。现有的基于特征的篡改方法均是从单一的角度进行检测，例如基于眨眼的方法，基于嘴型的方法，基于呼吸频率的方法与基于相机噪声的方法，都是提取了单一的特征，没有联合视频中可能存在的所有瑕疵。其他基于图像瑕疵的方法大多直接利用深度学习模型，无法直观的提取真假人脸的差异，也难以结合其他方面的篡改特征，检测精度上仍然存在着很大的上升空间。

发明内容

发明目的：本发明提供一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，能大大降低时间消耗，且能够从全局、局部两个角度辨识真假人脸，充分描述视频的全局运动特征，提高伪造人脸视频检测的精度。

技术方案：本发明所述的一种基于空间局部二值模式与光流梯度的伪造人脸视频检测方法，包括以下步骤：

(1)对待检测的人脸伪造视频进行帧级别的分解，得到一个连续的帧序列；

(2)对于步骤(1)中裁剪得到的连续人脸图像块序列，设定三个时空轴T、X、Y，在XY、XT和YT这3个正交平面上分别计算局部二值模式；