[发明专利]一种虚假视频检测方法及系统

说明书

本发明公开了一种虚假视频检测方法，包括：对待检测视频进行预处理，获取多个视频帧序列，其中，每个视频帧序列包括人脸图像；通过处理单个视频帧序列获得待检测的视频的频域特征；通过处理多个连续视频帧序列获得待检测的视频的时空特征；将频域特征和时空特征进行融合，获得待检测视频的融合特征图；利用视频分类网络处理融合特征图，得到表征待检测视频质量的检测信息。本发明同时还公开了一种虚假视频检测系统及电子设备。

技术领域

本发明涉及深度学习和视频检测领域，具体涉及一种虚假视频检测方法、系统及电子设备。

背景技术

深度学习驱动的生成模型的快速发展以及大量数据的可用性，使得任何攻击者能够伪造人类甚至计算机算法无法识别的虚假视频或图像。当前面部操纵技术的前沿-“deepfake”创建的虚假视频和图像已经在Internet和社交媒体上被恶意传播。尤其是随着各种人脸操纵工具的出现，任何业余用户都可以随意的更改或生成虚假图片及视频的内容。而现有技术中针对虚假视频或图像的检测方法存在诸多问题，例如无法解决低质量的视频检测、对时间信息的利用不充足、泛化能力差等。

发明内容

有鉴于此，本发明的主要目的是提供一种虚假视频检测方法、系统级电子设备，以期至少部分地解决上述提及的技术问题中的至少之一。

为实现上述目的，本发明所采用的技术方案包括：

根据本发明的第一方面，提供了一种虚假视频检测方法，包括：

对待检测视频进行预处理，获取多个视频帧序列，其中，每个视频帧序列包括人脸图像；

通过处理单个视频帧序列获得待检测的视频的频域特征；

通过处理多个连续视频帧序列获得待检测的视频的时空特征；

将频域特征和时空特征进行融合，获得待检测视频的融合特征图；

利用视频分类网络处理融合特征图，得到表征待检测视频质量为真实或虚假的检测信息。

根据本发明的实施例，上述对待检测视频进行预处理包括：

利用视频处理工具处理待检测视频，获取视频帧序列集合；

从视频帧序列集合中随机选择多个视频帧序列，利用人脸检测工具获取视频帧序列的人脸图像部分；

利用人脸图像部分确定最小边界框，并根据预设的扩展值对最小边界框进行扩展，获得边框；

根据边框，利用图像裁剪工具对视频帧序列进行裁剪，获取包括人脸图像的多个视频帧序列。

根据本发明的实施例，上述通过处理单个视频帧序列获得待检测的视频的频域特征包括：

利用2D离散傅立叶变换处理单个视频帧序列，获取单个视频帧序列的频谱图；

构建频率带通滤波器，其中，频率带通滤波器包括低频率带通滤波器、中频率带通滤波器和高频率带通滤波器；

利用频率带通滤波器处理频谱图，获得频率分量，其中，频率分量包括低频分量、中频分量和高频分量；

将频率分量逆变换到空间域，获得图像分量，其中，图像分量包括低频图像分量、中频图像分量和高频图像分量；

将图像分量沿通道轴堆叠，获得堆叠图像；

构建基于通道注意力机制的图像分类网络，利用图像分类网络处理堆叠图像，获得频域特征。

根据本发明的实施例，上述2D离散傅立叶变换由公式(1)表示：