[发明专利]基于面部划分的人脸深度伪造检测方法及系统

说明书

本发明提出一种基于面部划分的人脸深度伪造检测方法和系统，包括：对训练数据，提取全局人脸特征；根据获取全局人脸特征过程中产生的浅层卷积特征，将该浅层卷积特征根据预设的面部划分方式，划分为多个图像区域，分别将该图像区域输入至局部人脸特征提取模型，得到该人脸图像的多个局部特征；通过注意力模型提取该多个局部特征间的关系特征，并将该关系特征与该全局特征拼接后输入至二分类模型，得到该训练数据的检测结果，根据该结果和该标签构建损失函数，以训练该全局人脸特征提取模型、局部人脸特征提取模型、注意力模型和该二分类模型。

技术领域

本方法属于机器学习和计算机视觉领域，特别涉及面向计算机视觉中深度伪造检测的机器学习问题。

背景技术

近年来，深度学习技术不断发展，并且在计算机视觉领域取得了广泛的应用。一方面，深度学习技术引领了新一轮的人工智能浪潮，但另一方面深度学习引发的一系列安全问题也引起了越来越多的关注。目前基于深度学习的图像、视频识别技术广泛地被应用于人们生活中的方方面面，例如网络内容智能监管、自动视频监控分析、基于人脸识别地门禁系统、刷脸支付等。在这些关键应用领域，信息和数据的可靠性与安全性应当受到重视并得到保障。2017年以来，一些基于深度伪造(又称DeepFake)技术生成的虚假图像和视频在互联网上引起了广泛的关注，尤其是当深度伪造用于影响力巨大的人物身上时往往会借助该人的影响力而产生更大的影响。如某论坛上存在着在未经允许的情况下，将色情视频角色的脸部修改为明星的面部的视频，造成了严重的负面影响，此外，大量“一键式”换脸的软件，使得伪造视频的获取越来越简单。虚假图像和视频已经成为目前最显著的信息数据安全隐患之一，其检测和监管面临着巨大的挑战。

AI合成的假脸存在巨大的威胁，能够以接近真实的面部表情和身体动作来创建目标人做某事或说某事的假象的视频，颠覆了人们对“眼见为实”观念的认知。业界迫切需要一种有效的技术来检测网络环境中的虚假人脸图像或视频，但其难度巨大，主要因为人脸伪造图像的伪造区域微弱且局部存在。进行检测时极易受到图像噪声的影响。另外伪造区域往往不可预知，每种伪造方法针对的区域不同，如何正确的检测到伪造区域并进行分类有很大的难度

深度伪造检测的图像大致可以分为：基于图像伪造缺陷、改进网络结构、多特征融合、借助其他任务的方法。

基于图像伪造缺陷的方法该方法是主流方法，试图挖掘人脸在伪造过程中，因缩放、旋转、扭曲等操作导致的不一致现象来进行检测。例如基于CNN的检测方法，通过检测面部区域和面部周围区域，以检测因篡改导致图像面部分辨率较低的现象。或通过设计面部轮廓蒙版，引导模型去关注容易出现伪造区域的面部轮廓区域，该方法取得了较好的泛化效果。

改进网络结构的方法该类方法致力于通过改造或改进分类网络，提高模型对真假分类的效果。例如基于介观和隐写分析特征的方法，提出了两个不同的网络来关注图像的介观特性，分别是Meso-4网络和引入了Inception模块的Meso-4网络的变体。以及基于胶囊网络(CapsuleNetworks)的伪造检测系统，该方法与传统CNN相比参数更少。在使用构建了7基于空间和时序特征的深度伪造检测方法研究FaceForensics++数据集的同时评估了五种不同的检测方法：1)使用隐写特征的卷积神经网络，2)卷积层经过专门设计以抑制图像的高层语义信息的卷积神经网络，3)一个具有特殊全局池层的卷积神经网络网络，该池化层计算特征图四个维度的统计信息：均值、方差、最大值和最小值，4)MesoInception-4网络，5)预训练的XceptionNet网络，以数据驱动的方式训练最后XceptionNet网络FaceForensics++数据集上取得了最好的结果。