[发明专利]一种多模态数据融合神经网络的虚假新闻图像检测方法

权利要求书

1.一种多模态数据融合神经网络的虚假新闻图像检测方法，包括视觉模态模块(1)、视觉特征融合模块(2)、物理特征模块(3)和集成模块(4)四个模块，其特征在于：所述视觉模态模块(1)，对输入图像应用误差水平分析(ELA)算法，获得被篡改区域的位置；使用预训练的ResNet50对输入图像进行特征提取；之后将其分成三个RGB通道，然后在三个通道中分别进行离散余弦变换(DCT)，然后将它们结合起来对图像进行傅里叶变换，得到频率的特征表示域；

所述视觉特征融合模块，首先将特征串联起来，对提取的特征进行降维，集中矩阵计算，特征值分解，随后得到投影矩阵。之后再利用SoftMax函数获得真假图像的目标空间的概率分布；

所述物理特征模块，用于对图像的物理特征进行提取，所述集成模块，用于结合图像的物理特征和图像的视觉模态预测结果，进而再使用XGBoost对最终的虚假新闻图像进行识别。

2.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法，其特征在于：所述视觉模态模块(1)，从图像的像素域、频域和梯度直方图中提取图像特征。从篡改检测、语义检测和频域检测三个分支实现较为全面的图像检测。

3.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法，其特征在于：所述视觉特征融合模块(2)包括，特征融合、主成分分析和SoftMax函数，所述特征融合用于将图片的特征串联，所述主成分分析用于对图片特征进行矩阵计算和特征值分解，所述SoftMax函数用于对图像进行识别。

4.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法，其特征在于：所述物理特征模块(3)用于提取图像的物理特征，例如图像的大小，清晰度，图像的长和宽的量化值作为检测假新闻图像的物理特征。

5.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法，其特征在于：所述集成模块(4)包括集成和结果，所述集成用于汇集所述物理特征模块(3)提取的图像物理特征，所述结果用于结合图像的物理特征和图像的视觉模态预测结果。

6.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法，其特征在于：所述视觉特征融合模块(2)，用于在类别分类时降低正样本判定为负样本的错误率，从而使卷积神经网络在训练学习时，可以得到更多的有效信息。

7.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法，其特征在于：所述误差水平分析(ELA)算法使用预先训练的残差网络(ResNet50)来提取特征并相应地获得被篡改区域的位置。

8.根据权利要求1所述的一种多模态数据融合神经网络的虚假新闻图像检测方法，其特征在于：所述离散余弦变换(DCT)+傅里叶变换首先分成三个RGB通道，并在三个通道中分别进行离散余弦变换(DCT)。最终进行结合后对图像进行傅里叶变换得到频率的特征表示域。这个特性随后被用作ResNet50的输入。