[发明专利]基于视觉转换器的人脸伪造检测方法

权利要求书

1.一种基于视觉转换器的人脸伪造检测方法，其特征在于：包括如下步骤：

S100、以Transformer为基本组件再结合变种残差连接模块、注意力引导模块以及多层次取证模块共同构建网络模型，用于建模全局和局部信息；

S200、利用数据集对网络模型进行训练得到人脸伪造检测模型；

S300、将待检测图片或视频导入网络模型中进行识别，得到最终预测结果。

2.如权利要求1所述的基于视觉转换器的人脸伪造检测方法，其特征在于：所述的步骤S100中，网络模型包括N个Transformer块、N-1个变种残差连接模块、注意力引导模块、N个第二Transformer层以及多层次取证模块；所述的Transformer块通过变种残差连接模块连接下一个Transformer块，各Transformer块的输出令牌至注意力引导模块，注意力引导模块从所有令牌中选择最有价值的令牌并输出至第二Transformer层，多层次取证模块对N个第二Transformer层输出的子预测结果进行合并得到最终预测结果。

3.如权利要求2所述的基于视觉转换器的人脸伪造检测方法，其特征在于：所述的Transformer块由多个第一Transformer层组成，每个第一Transformer层的输出形式如下：；，其中表示第个第一Transformer层编码的隐层特征。

4.如权利要求2所述的基于视觉转换器的人脸伪造检测方法，其特征在于：相邻的Transformer块之间按如下公式采用变种残差连接：

；

其中，表示第i个Transformer块的输入，表示以作为输入的Transformer块的输出。

5.如权利要求2所述的基于视觉转换器的人脸伪造检测方法，其特征在于：所述的注意力引导模块按如下步骤进行处理：递归地在所有网络层输出的原始注意力权重归一化后进行累乘；从H个自注意力头中找出权重最大的令牌；将权重最大的令牌和分类令牌结合在一起作为第二Transformer层的输入序列，可以表示为以下形式：

；

式中，表示被选择的第L-1层Transformer编码的第i个自注意力头对应的令牌，表示第L-1层的分类令牌。

6.如权利要求2所述的基于视觉转换器的人脸伪造检测方法，其特征在于：所述的多层次取证模块按如下公式对子预测结果进行合并得到最终预测结果：

；

式中，表示分析第i个第二Transformer层的输出特征得出的子分类置信度即为子预测结果，子分类置信度是介于0-1之间的浮点数，表示对各个子分类置信度取平均值。

7.如权利要求1-6任一项所述的基于视觉转换器的人脸伪造检测方法，其特征在于：所述的步骤S200中，对网络模型进行训练时，结合分类损失和对比损失共同作为训练损失，表征如下：

；

其中，交叉熵损失和对比损失的形式如下所示：

；

；

式中，y和分别表示输入图像的标签值和预测值，表示Transformer层输出的分类令牌特征的归一化结果。

8.如权利要求3-6任一项所述的基于视觉转换器的人脸伪造检测方法，其特征在于：所述网络模型包括4个Transformer块，每个Transformer块包括3层第一Transformer层。