[发明专利]一种基于图像域频域双流网络的人脸伪造检测方法

权利要求书

1.一种基于图像域频域双流网络的人脸伪造检测方法，其特征在于：所述检测方法包括模型训练和模型推断两个阶段；

在模型训练阶段，利用具有高计算性能的服务器对网络模型进行训练，通过降低网络损失函数来优化网络参数，直至网络收敛，获得基于图像域频域双流网络模型；

在模型推断阶段，利用模型训练阶段获得的网络模型，判断新的图像是否为人脸伪造图像。

2.根据权利要求1所述的一种基于图像域频域双流网络的人脸伪造检测方法，其特征在于：在模型训练阶段，具体包括以下步骤：

首先进行图像数据准备，具体是将训练集中的图像经过离散余弦变换(DCT)得到图像的频谱图像，并对处理前后的图像进行图像数据增强处理，同时，将对应的图像数据标签进行重新整合使得每一张图像均拥有两级标签；

然后进行网络模型训练，将经过数据增强处理的原始图像及频谱图像成对地送入图像域频域双流网络，采用层级监督的方法进行训练；计算损失函数得到梯度，然后进行反向传播得到训练好的网络模型。

3.根据权利要求2所述的一种基于图像域频域双流网络的人脸伪造检测方法，其特征在于：关于离散余弦变换(DCT)，具体是使用类型ii 2D-DCT，输入I(N维)的二维DCT变换定义为：

D＝C^N·I·(C^N)^T，

其中：

D为输出，

C^N是变换矩阵的系数，

其中j＝0时，α_j＝1；j＞0时，α_j＝2；

经过DCT变换后的频谱图像左上角包含图像低频信息，右下角包含图像高频信息。

4.根据权利要求2所述的一种基于图像域频域双流网络的人脸伪造检测方法，其特征在于：图像数据增强包括对原始图像和频谱图像进行水平翻转、竖直翻转以及应用Mix Up和Random Erasing；

其中，Mix up是构建训练集中的两个随机样本及其标签的线性插值的虚拟数据作为训练数据；Random Erasing是随机擦除图像中的一块区域。

5.根据权利要求2所述的一种基于图像域频域双流网络的人脸伪造检测方法，其特征在于：图像标签的重新整合包括：

首先，根据细粒度标签信息将图像的二进制标签转换为多类标签；一类用于真实图像，多类用于伪造图像，其中考虑了特定的伪造方法，如FaceSwap、Face2Face、Deepfake等；此外在上述多类标签中存在层次结构，因为整个数据集被分为真和假两类；

与此同时，各种各样的伪造图像属于整个假的类别；

将数据集标签重新整合到它的层次结构中，实现每张图像都有粗分类和细分类级别的标签，其中粗分类标签为第一级标签，细分类标签为第二级标签。

6.根据权利要求1或2所述的一种基于图像域频域双流网络的人脸伪造检测方法，其特征在于：对于模型推断阶段，具体包括：

首先，将测试数据图像经过离散余弦变换(DCT)得到图像频谱图，

然后，将测试数据图像和获得的对应图像频谱图一起传入训练好的模型得到推断结果，得到测试图像的二分类结果和多分类结果，将两个结果进行加权平均融合得到最终模型推断的结果。