[发明专利]一种基于多音素选择的唇型伪造视频检测方法及系统

说明书

本发明涉及一种基于多音素选择的唇型伪造视频检测方法及系统，其方法包括：步骤S1：建立音素和唇形的映射，得到音素类别集；步骤S2：根据不同唇型篡改方法，从音素类别中，选择对应的多音素类别子集，并根据预设唇形帧个数，构建至少一个音素唇形数据集作为训练样本集合；步骤S3：根据至少一个音素唇形数据集，构建对应的至少一个唇型伪造视频检测子模型，分别训练，得到对应的至少一个唇型检测结果；步骤S4：将至少一个唇型检测结果进行融合，得到融合唇型检测结果。本发明方法建立了音素‑唇形映射关系，并选择音素‑唇形子集训练子模型并融合结果。本发明方法可以区分不同篡改方法，并建立了一个新数据集，有利于后续唇形篡改检测工作发展。

技术领域

本发明涉及人脸伪造deepfake、人脸伪造检测以及视听语音识别领域，特别涉及基 于多音素的人脸唇形篡改视频检测方法及系统。

背景技术

由于深度生成模型(generative models)的巨大成功，人脸伪造deepfake成为近年 来一个新兴的研究课题，根据篡改区域的不同，人脸伪造方法大致可以分为两类：1.全脸合成(Full-face synthesis)，通常会将整个合成的人脸替换到目标人脸；2.局部区域篡改(Local region forgery)，只修改人脸局部区域，例如篡改唇形来匹配音频内容，并达到视觉上的同步(lip forgery)。

全脸合成的典型方法有DeepFakes、FaceSwap、FSGAN和FaceShifter等，其中FaceShifter可以产生高保真和遮挡感知的结果。这类方法通常会“改变身份”，因此 需要篡改一个大的面部区域，有可能出现范围更广的伪影artifacts。

局部区域篡改作为一种更常见的人脸伪造方法，着重于轻微篡改人脸的部分区域， 例如眉毛和唇形，相关方法包括Face2Face、First Order Motion和Neural VoicePuppetry 等。作为开创性工作，Lip sync能够修改讲话视频中的唇形，使其与给定的音频序列精 确同步。Audio driven对人脸视频进行3D建模，更加灵活的控制唇形生成。最近，First Order Motion输入一段动态视频和一张静态人脸图像，动态视频作为驱动篡改静态人脸 的唇形，生成该静态人脸的说话视频。

随着大量伪造视频越来越逼真甚至能轻易欺骗人眼，给社会带来了潜在的安全威胁。 为了遏制恶意使用deepfake带来的风险，许多检测方法分别从空域、时域和频域考虑，在一些公共数据集上取得了显著的检测效果。然而，这些数据集中大部分deepfake视频 都是通过全脸合成进行篡改，导致绝大多数检测方法采取通用方式设计，从整个人脸区 域提取视觉特征，并没有考虑音频匹配的情况。尽管它们在检测全脸合成方面表现很好， 但在检测局部人脸区域伪造时却遇到很大挑战，例如检测唇形篡改Lip sync。这类篡改 中具有区分性的缺陷通常是局部且微小的，难以被通用的deepfake检测框架捕捉。

最近，Komal Chugh等利用了音频特征，通过检测听觉和视觉信息的同步性来鉴别伪造视频。但由于唇形与具体单词并不遵循严格的相关性，网络会混淆而产生误判。Agarwal等则尝试通过音素-视素匹配(phoneme-viseme matching)来检测唇形篡改Lipsync。在单音素下判断唇形张开、闭合的异常来检测唇形是否被篡改，场景有很大的限 制，只对特定的目标人物有效。

因此，如何能快速有效地检测唇形篡改视频成为一个亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供一种基于多音素选择的唇型伪造视频检测方法 及系统。

本发明技术解决方案为：一种基于多音素选择的唇型伪造视频检测方法，包括：

步骤S1：建立音素和唇形的映射，得到音素类别集；