[发明专利]检测伪造人脸图像视频的增量学习方法及系统

说明书

本发明提出一种检测伪造人脸图像视频的增量学习方法和系统，包括：获取待增量学习的伪造人脸图像检测模型作为基础模型，基础模型包括用于提取图像特征的特征提取器，以及为图像特征分配伪造人脸图像检测类别的分类器；获取已标注伪造类别的训练图像；在基础模型中新建特征提取器；在基础模型中新建辅助分类器，对于训练图像辅助分类器得到辅助分类结果和辅助损失，并根据分类器对训练图像的分类结果构建分类损失；由分类损失和辅助损失更新分类器和新建特征提取器的权重参数；直到总损失收敛或达到指定的迭代次数。本发明通过增量学习的方式来处理现实场景中不断出现的伪造人脸数据，加强了分类器的判别能力。

技术领域

本发明涉及图像识别分类中的人脸伪造检测技术领域，并特别涉及一种检测伪造人脸图像视频的增量学习方法及系统。

背景技术

现有的伪造检测技术主要包括但不限于以下四类：

(1)基于深度神经网络特征提取的方法。此类方法将真实样本和合成样本直接送入神经网络中进行有监督训练，期望网络学习到正负样本不同的内在分布，并通过一个二分类器输出预测结果。这类方法往往依赖于网络本身，特征提取能力强的网络通常有更好的分类结果，目前最流行的基础网络如ResNet、CapsuleNet、XceptionNet以及EfficientNet等已经被用于人脸伪造检测任务。这些方法在域内测试取得了良好的检测结果，但在域间测试检测性能大幅下降，表现为泛化性能的不足。因此，很多工作被提出用于提高网络的泛化性能，共同思想都是希望通过找到或者强化合成数据存在的伪造痕迹来进行判别。通过挖掘通道差分图像和频谱图像中的内在特征来改进网络的泛化能力；利用全局图像纹理表示来进行伪造检测的网络结构Gram-Net，并改善了泛化能力；用多级特征全局一致性的方法提高了网络的泛化能力。这些工作推进了伪造检测技术的发展，但还不能较好地解决泛化能力不足的问题。

(2)基于图像上下文空间的检测方法。此类方法认为合成图像只是对图像中面部区域进行了篡改，而图像中其它部分(比如背景、躯干)并没有更改，理论上真实图像和合成图像内部存在着必然的不同，真实图像内部是连续的，而合成图像内部则是拼接而成，由此可进行真伪检测。合成的人脸图像拥有一种融合边界，而真实图像没有这样的边界，提出了一种检测边界融合痕迹的Face-X-Ray方法；利用注意力机制来定位人脸图像中的伪造区域，并用其改进最后的分类任务；将篡改区域定位、篡改边缘提取和真伪判别分类融为一体的三分支多任务学习框架，并加粗篡改边缘辅助最后的分类。基于图像上下文空间的检测方法对于只存在局部篡改的图像有较好的检测性能，并且通常比直接用神经网络进行特征提取的方法具有更优的泛化性能，但是对于整体合成的图像，这类方法检测效果欠佳。

(3)基于视频时序信息的检测方法。视频的本质是帧的快速切换，现有的人脸伪造视频大多是对每一帧分别进行伪造和处理，再压缩编码成最后的视频，因此相邻帧之间往往有很大的相关性，而伪造视频在相邻帧上通常会产生时空差异。现有技术提出了一种时间感知管道，该管道首先利用CNN(convolutional neural network)提取帧级特征，随后将特征送入RNN(recurrent neural network)中进行训练，最后用训练好的RNN进行判别；提出视觉流动向量场的概念，将帧间预测误差与长短期记忆(long short term memory，LSTM)网络结合起来，基于VGG-16得到了不错的检测结果；提出了结合频率域特征和RGB图像(RGB三通道)特征的双分支网络，利用组卷积整合各分支特征并输入到LSTM进行检测；真实和合成视频中人脸运动的振幅有较大差异，利用InceptionV3提取特征，结合LSTM提取时序信息，取得了不错的检测效果。基于视频时序信息的检测方法推进了人脸伪造检测技术的实用化，共同思路都是利用相邻帧间人物运动不一致、色彩与纹理的不正常抖动等信息进行伪造检测。