[发明专利]一种基于多音素选择的唇型伪造视频检测方法及系统

权利要求书

1.一种基于多音素选择的唇型伪造视频检测方法，其特征在于，包括：

步骤S1：建立音素和唇形的映射，得到音素类别集，具体包括：

步骤S11：将唇形数据归一化映射到音标类；

步骤S12：通过LDA分类器，合并唇形相近的所述音标类，得到音素类别集，具体包括：某些不同类别的音标具有相似的唇形外观，不能直接使用音标作为可识别单位来区分唇形；为了构建从音素到唇形的鲁棒映射，合并唇形相近的所述音标类，得到多个音素类别，每个音素类别中包含多个音标，多个音素类别中的唇形可区分，形成了从音素到唇形的鲁棒映射；

步骤S2：根据不同的唇型篡改方法，从所述音素类别中，选择对应的多音素类别子集，并根据预设的唇形帧的个数选择唇形帧，构建至少一个音素唇形数据集作为训练样本集合，具体包括：

步骤S21：根据不同的唇型篡改方法中的不同音素之间嘴唇的开合的幅度差值，从所述音素类别中选择前N个幅度差值最大的音素集，构建多音素类别子集；

步骤S22：根据预设的唇形帧的个数选择唇形帧，以及所述多音素类别子集，构建至少一个音素唇形数据集作为训练样本集合；

步骤S3：根据至少一个所述音素唇形数据集，构建对应的至少一个唇型伪造视频检测子模型，分别并行训练，得到对应的至少一个唇型检测结果；

步骤S4：将所述至少一个唇型检测结果进行融合，得到融合唇型检测结果。

2.根据权利要求1所述的基于多音素选择的唇型伪造视频检测方法，其特征在于，所述步骤S3：根据至少一个所述音素唇形数据集，构建对应的至少一个唇型伪造视频检测子模型，分别并行训练，得到对应的至少一个唇型检测结果，具体包括：

根据每个所述音素唇形数据集构建其对应的唇型伪造视频检测子模型，并输入所述音素唇形数据集进行训练，分别得到每个所述唇型伪造视频检测子模型的唇形检测结果；其中，所述唇型伪造视频检测子模型采用XceptionNet作为骨干网络。

3.根据权利要求1所述的基于多音素选择的唇型伪造视频检测方法，其特征在于，所述步骤S4：将所述唇型检测结果进行融合，得到融合唇型检测结果，具体包括：

将每个所述唇型伪造视频检测子模型的所述唇型检测结果赋予权重后进行融合计算，得到融合唇型检测结果。

4.一种基于多音素选择的唇型伪造视频检测系统，其特征在于，包括下述模块：

构建音素类别集模块，用于建立音素和唇形的映射，得到音素类别集，具体包括：

步骤S11：将唇形数据归一化映射到音标类；

步骤S12：通过LDA分类器，合并唇形相近的所述音标类，得到音素类别集，具体包括：某些不同类别的音标具有相似的唇形外观，不能直接使用音标作为可识别单位来区分唇形；为了构建从音素到唇形的鲁棒映射，合并唇形相近的所述音标类，得到多个音素类别，每个音素类别中包含多个音标，这多个音素类别中的唇形可区分，形成了从音素到唇形的鲁棒映射；

构建音素唇形数据集模块，用于根据不同的唇型篡改方法，从所述音素类别中，选择对应的多音素类别子集，并根据预设的唇形帧的个数选择唇形帧，构建至少一个音素唇形数据集作为训练样本集合，具体包括：

步骤S21：根据不同的唇型篡改方法中的不同音素之间嘴唇的开合的幅度差值，从所述音素类别中选择前N个幅度差值最大的音素集，构建多音素类别子集；

步骤S22：根据预设的唇形帧的个数选择唇形帧，以及所述多音素类别子集，构建至少一个音素唇形数据集作为训练样本集合；

唇型伪造视频检测子模型训练模块，用于根据不同的唇型篡改方法，从所述音素类别中，选择对应的多音素类别子集，并根据预设的唇形帧的个数选择唇形帧，构建至少一个音素唇形数据集作为训练样本集合；

唇型检测结果融合模块，用于将所述至少一个唇型检测结果进行融合，得到融合唇型检测结果。