[发明专利]基于量化技术的图像深伪检测加速方法及系统

说明书

本发明提出一种基于量化技术的图像深伪检测加速方法和系统，包括：获取已标记深伪检测结果的训练视频，从训练视频中抽取伪造检测的关键帧，对关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；基于帧特征，利用人脸识别算法，定位关键帧中人脸位置信息，基于人脸位置信息、帧特征和已标记深伪检测结果，训练得到初始检测模型；对初始检测模型的权重、激活值进行量化转换，并验证推理速度和精度损失间的平衡，将量化转换后的初始检测模型作为中间模型；对中间模型进行微调或重训练，得到最终的深度伪造检测模型；将待深度伪造检测的视频输入深度伪造检测模型，得到其是否属于伪造视频的检测结果。

技术领域

本发明涉及机器学习和计算机视觉领域，特别涉及面向计算机视觉中深度伪造检测的机器学习问题。

背景技术

近年来，深度学习技术不断发展，并且在计算机视觉领域取得了广泛的应用。一方面，深度学习技术引领了新一轮的人工智能浪潮，但另一方面深度学习引发的一系列安全问题也引起了越来越多的关注。目前基于深度学习的图像、视频识别技术广泛地被应用于人们生活中的方方面面，例如网络内容智能监管、自动视频监控分析、基于人脸识别地门禁系统、刷脸支付等。在这些关键应用领域，信息和数据的可靠性与安全性应当受到重视并得到保障。2017年以来，一些基于深度伪造(又称DeepFake)技术生成的虚假图像和视频在互联网上引起了广泛的关注，尤其是当深度伪造用于影响力巨大的人物身上时往往会借助该人的影响力而产生更大的影响。论坛甚至存在着在未经允许的情况下，将色情视频角色的脸部修改为明星的面部的视频，造成了严重的负面影响，此外，大量“一键式”换脸的软件，是的深度伪造技术与传统图像视频处理技术相比，具有“门槛低、效率高、质量好”的特点，带来了巨大的潜在威胁和隐患。虚假图像和视频已经成为目前最显著的信息数据安全隐患之一，其检测和监管面临着巨大的挑战。

AI合成的假脸存在巨大的威胁，能够以接近真实的面部表情和身体动作来创建目标人做某事或说某事的假象的视频，颠覆了人们对“眼见为实”观念的认知。业界迫切需要一种有效的技术来检测网络环境中的虚假人脸图像或视频，但其难度巨大。深度伪造检测问题由于新型伪造方法层出不穷、网络传播环境复杂等特性，需要针对新的伪造方法和数据集对技术进行不断迭代升级，以快速、精准地对多种格式与质量的图像进行真伪鉴别。随着模型网络参数量变得越来越大、计算复杂度越来越高，同时对硬件资源的消耗也更高，导致深度伪造检测模型很难部署在计算资源有限的硬件平台上，也很难应对高并发、多数据流、快速即时反应的业务应用场景，因此亟需有效的模型加速技术。

目前在深度伪造检测领域，存在着以下挑战：(1)技术演进使得深度伪造方法纷繁复杂，针对于不同伪造技术的特征，深度伪造检测模型通过模型集成等方法提升了检测准确性的同时，也大大增加了模型的参数量和计算复杂度。(2)深度伪造方法的多样性及其生成场景的复杂性，拓宽了深度伪造数据集的种类，高分辨率的伪造视频使模型的调优和重训练对计算资源和计算时间的消耗变高。(3)在实际的应用场景中，需要满足工业检测性能，快速、精准地对多种格式与质量的图像、视频进行真伪鉴别，实现多任务并行。

发明内容

本发明提供一种基于量化技术的深伪检测加速方法，并针对于此提出三个加速模块，分别为数据处理与压缩模块、模型量化加速模块、模型微调与加速模块。

本发明提出的“基于量化技术的深伪检测加速方法”方法，主要为深度伪造检测算法提供量化加速支撑。在深度伪造检测模型鉴别一个人脸图像是否是经过深度伪造合成时，能够支撑实际应用场景下高并发任务时快速、准确的检测需求，保证深度伪造检测准确性的前提下提升算法效率，降低计算复杂度。

具体来说，本发明提出了一种基于量化技术的图像深伪检测加速方法，其中包括：

步骤1、获取已标记深伪检测结果的训练视频，从该训练视频中抽取伪造检测的关键帧，对该关键帧进行压缩并去除冗余信息后提取保留伪造检测关键维度的帧特征；