[发明专利]一种基于频域信息与多任务学习的深度伪造视频鉴别方法

权利要求书

1.基于频域信息与多任务学习的深度伪造视频鉴别方法，其特征在于，包括以下步骤：

步骤1：将深度伪造视频分解为图像帧，得到RGB三通道的图像，然后使用频域分析中的离散余弦变换对RGB三通道的图像进行操作，结合分块处理的方式保留部分RGB三通道图像的空间信息，得到预处理后的频域特征作为输入数据；

步骤2：使用多任务学习的深度神经网络提取步骤1中得到的输入数据的特征，多任务学习的深度神经网络的模型采用Xception网络作为骨干网络，并设计一种基于反卷积运算的图像分割模块预测RGB图像中包含伪造痕迹的区域，还设计一种特征融合模块，将分割模块中提取的特征与骨干网络提取的特征相融合，得到融合后的特征，该融合后的特征的包含数百个维度的属性，称为融合后的高维特征，该融合后的高维特征进入分类模块中的分类器计算分类结果；

步骤3：将融合后的高维特征之间的关系转化为三维条件下的球体几何距离，步骤2得到的融合后的高维特征分为真实视频的高维特征与伪造视频的高维特征，将真实视频的高维特征约束在三维球体的球心附近，将伪造视频的高维特征约束在三维球体表面并且与真实视频的特征保持缓冲距离，通过设计一种优化训练引导目标算法，实现多任务学习的深度神经网络模型的训练，得到深度伪造视频鉴别模型，利用此模型完成深度伪造视频的鉴别。

2.根据权利要求1所述的基于频域信息与多任务学习的深度伪造视频鉴别方法，其特征在于：所述步骤1中：分块处理后的频域特征frequency_map，如下所示：

frequency_map＝{DCT(patch_8×8)}

其中patch_8×8指以8个像素为边长大小的局部RGB图像，DCT为二维离散余弦变换。

3.根据权利要求1所述的基于频域信息与多任务学习的深度伪造视频鉴别方法，其特征在于：所述步骤2中：所述多任务学习的深度神经网络的结构如下：

多任务学习的深度神经网络的结构包括骨干网络模块、分割模块与分类模块，其中骨干网络模块采用Xception模型的结构，仅保留原Xception中第12个卷积模块输出的特征而不采用Xception模型的分类器，接着将输出的特征输入分割模块与分类模块；分割模块包含4组反卷积模块，每组反卷积模块中均包含一个反卷积层、一个卷积层与一个激活层；分割模块负责进一步提炼特征，并将提炼后的特征传给分类模块；分类模块分别获取骨干网络模块与分割模块的输出，进行基于卷积运算的特征融合，再将融合后的特征输入分类模块中的分类器部分进行视频真伪的判断。

4.根据权利要求1所述的基于频域信息与多任务学习的深度伪造视频鉴别方法，其特征在于：所述步骤3中：所述一种优化训练引导目标算法利用损失函数实现，损失函数实现如下公式：

其中Loss_target为最终的优化训练引导目标，λ₁与λ₂为平衡参数，实际使用中分别取1.0与5.0，Loss_CE(pred,label)为预测结果与实际类别之间的交叉熵损失函数，pred,label分别表示模型输出的结果与预先标注的实际分类结果，R、m与n为预先定义的调控参数，实际使用中分别取值2.0、0.5与0.9，θ_pred为pred与分类模块中的分类器中label对应的参数的夹角，由于本问题是一个区分真伪的二分类问题，故称与label相反的另一类为other，θ_other为分类器中other对应的参数与pred的夹角。