[发明专利]基于视觉转换器的人脸伪造检测方法

说明书

本发明特别涉及一种基于视觉转换器的人脸伪造检测方法，包括如下步骤：S100、以Transformer为基本组件再结合变种残差连接模块、注意力引导模块以及多层次取证模块共同构建网络模型，用于建模全局和局部信息；S200、利用数据集对网络模型进行训练得到人脸伪造检测模型；S300、将待检测图片或视频导入网络模型中进行识别，得到最终预测结果。以Transformer作为基础结构而非卷积网络，从而充分地建模全局和局部信息，变种残差连接模块保障了网络能够捕捉到足够的纹理信息，注意引导模块能帮助选择最有价值和最具辨识度的区域，同时忽略背景等冗余信息多的区域，另外，多层次取证模块将来自不同网络深度的特征结合起来，进一步提高检测性能。

技术领域

本发明涉及人脸伪造检测技术领域，特别涉及一种基于视觉转换器的人脸伪造检测方法。

背景技术

人脸伪造Deepfake指一种合成媒体，其通过计算机技术将现有图像或视频中的人的形象替换为其他人。虽然媒体内容伪造的行为并不新鲜，但Deepfake利用机器学习和人工智能的强大技术来伪造或生成具有很高欺骗潜力的视觉和音频内容，这种技术很容易被用于恶意目的。截止目前，人类已经几乎无法区分某些媒体是否可信。如果Deepfake在社交媒体上失控，很有可能会严重威胁到名人的声誉，甚至会引发政治危机，因此有效的检测手段在当下显得非常重要。

出于安全考虑，近年来研究者提出了一系列人脸伪造检测方法。其中，基于卷积神经网络(CNN)设计的检测方法表现出的性能较为突出。然而，这些基于CNN的方法可能存在严重过适合于特定数据集的问题。大多数这类检测模型在FaceForensics++数据集上训练后可以达到近乎完美的性能，而它们在Celeb-DF数据集上直接测试的准确性却严重下降。这主要是因为基于CNN的方法是通过学习局部纹理信息来识别伪造人脸的，这种方法通常与伪造手段有关，而不同数据集之间的人脸伪造手段存在差异，从而直接导致了它们迁移测试性能下降的问题。因此，为了解决这一问题，我们尝试兼顾全局信息和局部信息实现人脸伪造检测，而非仅仅针对局部纹理信息。

近年来，视觉转换器Transformer在经典的分类任务中取得了巨大的成功，它利用先天的注意机制将Transformer应用于一系列图像块，有效地拓宽了感受域，从而有助于捕获全局信息。一系列相关的扩展工作，如目标检测分割和语义分割等，进一步证实了Transformer捕获全局和局部信息的能力，也显示了它在人脸伪造检测任务中的巨大潜力。

发明内容

本发明的目的在于提供一种基于视觉转换器的人脸伪造检测方法，准确度高且具有最佳的迁移性能。

为实现以上目的，本发明采用的技术方案为：一种基于视觉转换器的人脸伪造检测方法，包括如下步骤：S100、以Transformer为基本组件再结合变种残差连接模块、注意力引导模块以及多层次取证模块共同构建网络模型，用于建模全局和局部信息；S200、利用数据集对网络模型进行训练得到人脸伪造检测模型；S300、将待检测图片或视频导入网络模型中进行识别，得到最终预测结果。

与现有技术相比，本发明存在以下技术效果：以Transformer作为基础结构而非卷积网络，从而充分地建模全局和局部信息，变种残差连接模块保障了网络能够捕捉到足够的纹理信息，注意引导模块能帮助选择最有价值和最具辨识度的区域（即最可能被篡改的区域），同时忽略背景等冗余信息多的区域（即最不可能被篡改的区域），另外，多层次取证模块将来自不同网络深度的特征结合起来，进一步提高检测性能。

附图说明

图1是本发明中网络整体结构图；

图2是本发明检测人脸伪造图像时模型注意力分布热力图可视化实例；

图3是本方法和其他方法在FF++数据集上的准确率比较；

图4是本方法和其他方法在Celeb-DFv2数据集上图像级别检测的迁移能力比较；

图5是本方法和其他方法在更多公开数据集上视频级别检测的迁移能力比较。

具体实施方式