[发明专利]一种基于多模态关系的网络谣言检测方法

说明书

本发明公开了一种基于多模态关系的网络谣言检测方法，包括：获取网络平台上发布的待检测的图像与相关的文本；通过预训练fasterR‑CNN模型提取出图像中包含不同类别物体的视觉特征向量；对文本进行预处理后，通过GRU进行语义向量的提取；通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，对于视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而更新视觉特征向量与语义向量；将两部分更新得到的视觉特征向量与语义向量连接在一起，再通过二分类器，获得待检测的信息为谣言与真实类别的概率。该方法能够自动判断待检测信息是否属于网络谣言，且具有较高的检测准确度。

技术领域

本发明涉及网络空间安全技术领域，尤其涉及一种基于多模态关系的网络谣言检测方法。

背景技术

网络社会的崛起使得机遇与挑战并存，尤其是互联网接入的低准入门槛和信息传播的自由性严重影响了网络空间的稳定，网络谣言的肆意传播就是其中一个必须引起重视的问题。当今社交网络平台用户早已破亿，活跃度极高，其传播面广、传播迅速、使用面广、不受时间空间限制和其放大镜特征将信息影响力成倍放大，尤其是一些敏感话题、焦点事件、热点问题、重大公共事件、突发事件一夕之间家喻户晓，或造成信任缺失、政府、企业形象受损、民怨沸腾，所以针对网络谣言的自动和迅速检测对网络空间安全具有重要意义。

随着多媒体技术的发展，无论自媒体还是专业媒体都开始向基于图、文、短视频的多媒体新闻形式转变。多媒体内容承载着更加丰富与直观的信息，能够更好地描述新闻事件，且更易广泛传播。研究表明，带图片流量媒体的平均转发次数是纯文本的11倍。正因如此，虚假的新闻或谣言经常使用极具煽动性的图片来吸引和误导读者，从而快速且广泛地传播，这使得对视觉模态内容的检测已经成为应对网络谣言挑战的不容忽视的一部分。

传统的基于视觉模态内容进行虚假内容检测的工作主要是利用传统的手工特征，如视觉清晰度、视觉相似度直方图、双重JPEG压缩痕迹等，这些手段往往对粗糙的图片篡改有很好的效果，但随着生成图片技术不断提高，这些方法在不能保证精度的同时也显著提高了资源成本要求。

近年来，随着神经网络和深度学习模型的快速发展，相应的检测技术应运而生并取得了巨大成功。在虚假信息检测中，也产生了同时利用文本和视觉模态信息来判别新闻的真实性的多模态检测方法。在现有工作中，具有代表性的包括：attRNN、EANN和MVAE。这些方法虽然在多模态形式的虚假信息检测中提供了启发式的思路，但仍有很大缺点。一是对于图像和文本两种信息的提取过程仍比较粗糙，尤其是图片的语义特征；二是在特征融合阶段往往都是将两种模态特征简单拼接，难以表达模态间的交互与关联。

发明内容

本发明的目的是提供一种基于多模态关系的网络谣言检测方法，能够自动判断待检测信息是否属于网络谣言，且具有较高的检测准确度。

本发明的目的是通过以下技术方案实现的：

一种基于多模态关系的网络谣言检测方法，包括：

获取网络平台上发布的待检测的信息，包括图像以及相关的文本；

对于图像，通过预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量；

对于文本，进行预处理后，通过门控循环单元进行语义向量的提取；

通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量；将再次更新得到的视觉特征向量与语义向量连接在一起，再通过一个二分类器，获得待检测的信息为谣言类别与真实类别的概率。