[发明专利]一种融合噪声感知的深度伪造图像检测方法及系统

说明书

本公开属于机器视觉技术领域，具体涉及一种融合噪声感知的深度伪造图像检测方法及系统，包括：获取待检测图像；根据所获取的待检测图像和双重注意力计算，提取RGB流的特征，得到图像多尺度增强特征；对所获取的待检测图像进行噪声域特征的提取，根据所得到的图像多尺度增强特征和所提取到的噪声域特征，得到图像噪声流特征；将所得到的图像的噪声流特征和所提取到的RGB流的特征进行双流特征融合，得到图像双流融合增强特征；根据所得到的图像双流融合增强特征和局部一致性计算，完成图像的伪造检测。

技术领域

本公开属于机器视觉技术领域，具体涉及一种融合噪声感知的深度伪造图像检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

深度伪造(Deepfake)是指利用生成式对抗网络等深度学习方法将源视频中的人脸替换目标人脸来制造虚假音视频信息。由于这类技术可以生成肉眼难以分辨的高质量伪造视频，很容易被不法分子滥用并带来严重的社会影响。因此，对深度伪造信息检测的研究是视觉领域的一个重要方向。

目前，各种深度伪造检测方法层出不穷，可通过手工特征来检测伪造人脸，如不一致的头部姿势、心跳节奏或眼睛眨动等。随着深度学习方法的广泛应用，研究人员开始探索利用深度神经网络捕捉伪造图像空间域的高层语义特征以提升检测效果。

据发明人了解，部分深度伪造算法利用图像压缩后处理算法破坏伪影，使其无法在颜色空间中被检测到，但是仍然会在高频信息中留下篡改痕迹。为了提高检测模型的鲁棒性，噪声信息作为一种高频信息被引入到了伪造图像检测中。真实人脸在所有分块上具有连贯性，而伪造人脸是由不同人脸融合而成，因而会在某些位置产生不一致性信息。因此，在图像通用检测领域内用于检测图像复制移动或复制粘贴操作的一致性学习概念被引入深度伪造检测领域中。一致性学习通常采用计算局部相似度的方法衡量图像各个分块之间的相似度，以检测图像空间域的一致性。

上述方法虽然可以较好的解决深度伪造检测的问题，但是仍然存在以下问题限制了其性能的提升：

(1)基于卷积神经网络的检测方法往往倾向于关注偏好的显著区域，难以捕捉其他不明显但又具有可区分度的伪影，容易产生过拟合现象。

(2)当前深度伪造检测中引入的高频噪声特征大都是通过手工提取出来的，在应对一些经过后处理的伪造视频时缺少一定的灵活性，适应性较差。

(3)基于局部相似度特征的深度伪造检测方法由于忽略了同样包含判别性信息的全局特征，限制了提取判别性特征的能力。

发明内容

为了解决上述问题，本公开提出了一种融合噪声感知的深度伪造图像检测方法及系统，针对现有的深度伪造检测算法不能充分的提取判别性特征而导致的准确率低、泛化性差等问题，构建了一种融合噪声感知的渐进式多尺度深度伪造检测模型，基于所构建的检测模型实现图像检测，提高了检测精度和泛化能力。

根据一些实施例，本公开的第一方案提供了一种融合噪声感知的深度伪造图像检测方法，采用如下技术方案：

一种融合噪声感知的深度伪造图像检测方法，包括：

获取待检测图像；

根据所获取的待检测图像和双重注意力计算，提取RGB流的特征，得到图像多尺度增强特征；

对所获取的待检测图像进行噪声域特征的提取，根据所得到的图像多尺度增强特征和所提取到的噪声域特征，得到图像噪声流特征；

将所得到的图像的噪声流特征和所提取到的RGB流的特征进行双流特征融合，得到图像双流融合增强特征；

根据所得到的图像双流融合增强特征和局部一致性计算，完成图像的伪造检测。