[发明专利]一种多模态数据融合神经网络的虚假新闻图像检测方法

说明书

本发明涉及计算机应用技术领域，具体涉及一种多模态数据融合神经网络的虚假新闻图像检测方法，包括视觉模态模块、视觉特征融合模块、物理特征模块和集成模块。本发明通过视觉模态模块，输入图像进行特征提取，然后通过视觉特征融合模块将特征串联起来，对提取的特征进行降维，集中矩阵计算、特征值分解得到投影矩阵，再利用SoftMax函数获得真假图像的目标空间的概率分布，接下来通过物理特征模块对图像的物理特征进行提取，最终输入集成模块，集成模块结合图像的物理特征和图像的视觉模态预测结果，再使用XGBoost对最终的虚假新闻图像进行识别，尽量避免了现有的虚假新闻图像的检测方式一般通过人工进行检测，人工检测不仅效率低下，而且费时费力的问题。

技术领域

本发明涉及计算机应用技术领域，具体为一种多模态数据融合神经网络的虚假新闻图像检测方法。

背景技术

对于虚假新闻图像的检测，在及时遏制谣言的传播，维护国家秩序等方面有着举足轻重的作用。目前的图像检测方法仍无法对新闻图像进行是否经过数字修改和是否含有虚假语义信息这两方面进行全面性的检测。

现有的虚假新闻图像的检测方式一般通过人工进行检测，人工检测不仅效率低下，而且费时费力。

发明内容

针对现有技术的不足，本发明提供了一种多模态数据融合神经网络的虚假新闻图像检测方法，克服了现有技术的不足，旨在解决现有的虚假新闻图像的检测方式一般通过人工进行检测，人工检测不仅效率低下，而且费时费力的问题。

为实现上述目的，本发明提供如下技术方案：一种多模态数据融合神经网络的虚假新闻图像检测方法，包括视觉模态模块、视觉特征融合模块、物理特征模块和集成模块四个模块，所述视觉模态模块，对输入图像应用误差水平分析(ELA)算法，获得被篡改区域的位置；使用预训练的ResNet50对输入图像进行特征提取；之后将其分成三个RGB通道，然后在三个通道中分别进行离散余弦变换(DCT)，然后将它们结合起来对图像进行傅里叶变换，得到频率的特征表示域；

所述视觉特征融合模块，首先将特征串联起来，对提取的特征进行降维，集中矩阵计算，特征值分解，随后得到投影矩阵,之后再利用SoftMax函数获得真假图像的目标空间的概率分布；

所述物理特征模块，用于对图像的物理特征进行提取，所述集成模块，用于结合图像的物理特征和图像的视觉模态预测结果，进而再使用XGBoost对最终的虚假新闻图像进行识别。

作为本发明的一种优选技术方案，所述视觉模态模块，从图像的像素域、频域和梯度直方图中提取图像特征。从篡改检测、语义检测和频域检测三个分支实现较为全面的图像检测。

作为本发明的一种优选技术方案，所述视觉特征融合模块包括，特征融合、主成分分析和SoftMax函数，所述特征融合用于将图片的特征串联，所述主成分分析用于对图片特征进行矩阵计算和特征值分解，所述SoftMax函数用于对图像进行识别。

作为本发明的一种优选技术方案，所述物理特征模块用于提取图像的物理特征，例如图像的大小，清晰度，图像的长和宽的量化值作为检测假新闻图像的物理特征。

作为本发明的一种优选技术方案，所述集成模块包括集成和结果，所述集成用于汇集所述物理特征模块提取的图像物理特征，所述结果用于结合图像的物理特征和图像的视觉模态预测结果。

作为本发明的一种优选技术方案，所述视觉特征融合模块，用于在类别分类时降低正样本判定为负样本的错误率，从而使卷积神经网络在训练学习时，可以得到更多的有效信息。

作为本发明的一种优选技术方案，所述误差水平分析(ELA)算法使用预先训练的残差网络(ResNet50)来提取特征并相应地获得被篡改区域的位置。

作为本发明的一种优选技术方案，所述离散余弦变换(DCT)+傅里叶变换首先分成三个RGB通道，并在三个通道中分别进行离散余弦变换(DCT)。最终进行结合后对图像进行傅里叶变换得到频率的特征表示域。这个特性随后被用作ResNet50的输入。

与现有技术相比，本发明的有益效果是：