[发明专利]一种基于强化学习DQN算法的Deepfake检测方法

说明书

本发明涉及机械学习技术领域，具体涉及一种基于强化学习DQN算法的Deepfake检测方法，包括如下步骤：步骤1，采集样本数据划分为训练集S和测试集T；步骤2，将训练集S输入Q网络，将训练集S的[状态‑动作对](s_i,a_i)和Q网络输出的Q(s_i,a′_i)输入到判别器D中，获得置信度δ；用置信度δ求导更新Q网络的模型参数θ_i，得到Q网络检测模型；步骤3，测试Q网络；步骤4，将Q网络检测模型应用于Deepfake的真假判别中。本发明通过强化学习DQN算法用一组真假已知的样本来训练一个Q网络，通过强化学习DQN算法更新Q值，最终使Q网络训练成为一个能对视频或图片的真假做出判断的模型，不需要设计复杂的框架结构，泛化能力强，应用场景广泛。

技术领域

本发明涉及机械学习技术领域，具体涉及一种基于强化学习DQN算法的Deepfake检测方法。

背景技术

Deepfake就是深度学习(Deep-learning)与假冒(fake)的组合，它可以将目标人物面部的图像叠加到视频原人物面部的相应位置，从而创建包含目标人物的视频，随着Deepfake技术不断加强，人们已经很难用肉眼去分辨一些假的图片或者视频了，而网络上又存在着大量的deepfake视频，荷兰网络安全公司DeepTrace在2019年发现1.4万多个深度伪造视频，较2018年增加了84％，该技术被滥用的现象日益严重。因此对这些假的图片或视频的检测就显得尤为重要。

目前的Deepfake检测技术主要分为三类，即帧内检测，帧间检测以及一些浅层方法检测。帧内检测如伪影检测，是对每一帧的图片在Deepfake的过程中面部周围所产生的伪影进行检测，这种方法的优点是训练过程中的负样本可以通过强化Deepfake产生伪影的过程来得到，从而节省了大量的时间，而且伪影是广泛存在于Deepfake图片以及Deepfake视频中的，因此这种方法能对不同来源的假图片或假视频做到有效的检测。但这种方法也有缺点，就是它可能会对可能会对某些特定分布的Deepfake图片或视频过拟合。

帧间检测如眨眼检测，就是对视频中的人物在一定时间内的眨眼动作进行捕捉，假视频中的人物可能会出现长时间不眨眼的情况，从而分辨出是假视频，这种方法的缺点是只要在Deepfake视频的训练过程中加入大量的眨眼数据，假视频中的人物就可以像真视频中的人物一样的眨眼了，那么这种方法也就无效了。还有一些浅层方法如三维头部姿态分析，就是利用假视频中人脸和头部外轮廓的姿态差异来分辨出哪个假视频。这类方法能够从较低的数据维度对真伪视频人脸做出分类，且模型训练用时较短，但应用场景有限且不能应对高质量的深度伪造视频。

强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。本发明用到的是强化学习中的DQN算法，DQN算法是Google DeepMind团队在2013年提出来的第一个深度强化学习算法，并在2015年得到了很好的完善。在Atrari游戏中，DQN取得了惊人的实战表现，并由此引发了研究深度强化学习的热潮。深度强化学习算法是把神经网络与Q-learning算法相结合，利用神经网络对图像的强大的表征能力，把视频帧数据作为强化学习中的状态，并作为神经网络模型的输入；随后神经网络模型输出每个动作对应的价值(Q值)，得到要执行的动作。

发明内容

本发明为了克服现有的Deepfake检测技术模型训练过程复杂且容易过拟合，应用场景不够全面的问题，本发明提供了一种基于强化学习DQN算法的Deepfake检测方法。

为实现上述目的，本发明采用的技术方案是：

一种基于强化学习DQN算法的Deepfake检测方法，包括如下步骤：

步骤1，数据预处理：采集样本数据，将样本数据预处理后划分为训练集S和测试集T，并提取类别标签；