[发明专利]基于时空融合的深度伪造人脸视频定位方法

说明书

本发明公开了一种基于时空融合的深度伪造人脸视频定位方法，其步骤为：(1)构建卷积神经网络；(2)构建融合时域和空间域特征的分类网络；(3)构建分割定位任务网络；(4)构建重建任务网络；(5)构建多任务融合网络；(6)生成多任务融合损失函数；(7)生成训练集；(8)训练多任务融合网络；(9)对深度伪造人脸视频进行识别定位。本发明构建融合时域和空间域特征的分类网络提取特征，可以提取到更完整的帧内和帧间特征，获得更高的准确率，同时，本发明构建用于训练多任务融合网络的多任务融合损失函数，解决了未见攻击类别和任务单一化导致的影响泛化能力和功能完善性的问题。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中一种基于时空融合的深度伪造人脸视频定位方法。本发明可应用于对含人脸视频进行鉴伪并对伪造区域进行标记。

背景技术

深度伪造是指借助深度学习产生的任何逼真的视听内容，也指制造这类内容的技术。随着深度学习技术的不断发展，深度伪造生成技术使用门槛降低，感官效果越来越逼真，鲁棒性逐渐提升，数据依赖逐渐减少。现有的深度伪造方法，使得当前高泛化能力深度伪造鉴伪系统的需求不断增大。

目前的鉴伪方法主要有图片级别鉴伪和视频级别鉴伪。图片鉴伪有基于数字信号的方法例如频谱图、高频噪声等；基于深度学习的方法例如RGB空间特征、多流特征等。视频鉴伪的方法有基于人脸生物特征的方法，例如眨眼频率、心跳频率等；基于深度学习的方法，例如根据纹理、颜色、时序、光流等伪造痕迹鉴别的方法。

Stehouwer J等人在其发表的论文“On the Detection of Digital FaceManipulation”(Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition(CVPR)，pp 5781-5790，2020)中提出了一种基于深度卷积神经网络的深度伪造人脸视频检测方法。该方法的实现步骤是，将视频提取帧，根据帧图像生成对应的注意力图，将帧内人脸图像分别输入卷积神经网络，并结合使用注意力机制处理和改进分类器模型的特征图，突出显示帧内信息区域，提高了对伪造图像的二元分类能力。该方法有效证明注意力机制可以较好地应用在深度伪造视频检测与定位任务中。但是，该方法仍然存在的不足之处是，由于该方法只关注了帧图像的信息，识别系统缺失了伪造视频的时域特征，忽略了视频帧间不一致性，导致在伪造视频的识别过程中影响识别的精度。

南京信息工程大学在其申请的专利文献“一种基于长短期记忆网络的换脸视频检测方法”(申请号：202010105761.9，申请公布号：CN 111353395 A)中公开了一种基于长短期记忆网络的深度伪造人脸视频检测方法。该方法首先对视频提取帧，将卷积神经网络的输出作为图像的特征，并将各帧图像提取到的特征拼接为特征序列，输入到长短期记忆网络进行训练，对深度伪造人脸视频做分类标签。该方法可以达到较好的分类结果。但是，该方法仍然存在的不足之处是，由于该方法只关注已知的攻击类型数据集，导致应对未见攻击的能力较弱，泛化能力较差，并且只能对深度伪造视频分类，不能对伪造区域进行定位，任务单一，只提供检测分类结果，没有定位结果的辅助，导致识别系统功能不完善，影响识别的精度。

发明内容

本发明的目的在于针对上述已有技术的不足，提供一种基于时空融合多任务模型的伪造人脸视频定位方法，用于解决由于忽略了伪造视频的时域特征，导致在伪造视频的识别过程中识别精度的降低，以及由于忽略未见攻击类别和任务单一化导致影响识别系统的泛化能力和功能完善性。

实现本发明目的的思路是，构建融合时域和空间域特征的分类网络对人脸视频进行特征提取，由于该网络融合了空间域特征和时域特征，提高对待识别视频中帧内差异和帧间不一致性的敏感性，用来解决对伪造人脸视频特征提取不完整从而导致的伪造视频的识别过程中识别精度的降低的问题。构建多任务融合网络和多任务融合损失函数，由于该网络融合了具有共性特征的相关任务用于网络训练，用来解决忽略未见攻击类别和任务单一从而导致影响识别系统的泛化能力和功能完善性的问题。