[发明专利]基于多域视觉特征的新闻图像检测方法及系统、装置

说明书

本发明涉及一种基于多域视觉特征的新闻图像检测方法，包括：提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。本发明基于对虚假新闻图像特点的深入分析，设计了一个深度学习模型，能够充分建模并融合图像在频率域以及像素域的特点，从而实现利用视觉内容对虚假新闻的自动检测。

技术领域

本发明涉及信息检测领域，特别涉及一种新闻可信度认证检测方法和系统。

背景技术

近年来社交媒体凭借进入门槛低、数据量大、分享自由及时等优势，已成为重要的新闻信息来源，人们逐渐习惯在社交媒体上获取最新的新闻并自由的发表自己的观点。然而，社交媒体的便利性和开放性也为虚假新闻的传播提供了极大的便利，造成了很多消极的社会影响。如，知名媒体发布的假新闻，将不可避免的对投票者产生误导，从而影响了投票的结果。能否利用技术手段对虚假新闻进行自动检测已经成为自媒体时代亟待解决的问题。

多媒体技术的发展促进了自媒体新闻从传统的基于文本的新闻形式向基于多媒体内容的新闻形式转变。与单纯的文本内容相比，多媒体内容能够更好的描述新闻事件，吸引更多读者的注意。据统计，带图像新闻的平均转发数是纯文本新闻的11倍。然而，这一趋势也给虚假新闻创造了新的契机。虚假新闻经常利用极具误导性的甚至篡改的图像去吸引和误导读者，从而促进虚假新闻的快速传播。因此，视觉内容已经变成了虚假新闻中不可忽视的一部分。

现有的虚假新闻检测方法主要关注于文本内容及社交上下文。随着多媒体内容的流行，研究人员开始结合视觉信息来检测虚假新闻。这些基于视觉信息的工作可以被分为三类：基于视觉统计特征、视觉取证特征，以及视觉语义特征的工作。

基于视觉统计特征的工作使用对新闻中图像的统计特征帮助甄别虚假新闻，如配图的数目，图像流行度，及图像类型等。但是这些统计特征过于基本，无法刻画虚假新闻复杂的视觉模式。

视觉取证特征通常被用于检测图像篡改。为了验证新闻配图的真实性，一些工作利用视觉取证特征，如块状效应等，来辅助虚假新闻的检测。如，MediaEval在2015和2016年举办的多媒体认证任务，提供了7种视觉取证特征来帮助检测多媒体内容的篡改和误用。基于这些取证特征，L.Wu等人设计了更高层的取证特征，并结合文本特征及用户特征来解决新闻认证问题。然而，大部分的取证特征都是为了检测某种特定的篡改痕迹人工设计的，不能检测虚假新闻图像中未经篡改的真实图像。另外，这些手工特征需要经过专家设计，耗费人力，而且不能捕捉到复杂的模式。这些限制导致视觉取证特征在实际的虚假新闻检测任务中表现较差。

随着卷积神经网络的流行，大部分基于多媒体内容的工作使用预训练的深度卷积神经网络获得通用的视觉表达，并和文本信息进行融合用于检测虚假新闻。Z.Jin等第一次通过深度神经网络的方法融合多模态的内容来解决虚假新闻检测问题；Y.Wang等人提出了一种事件对抗的神经网络，利用多模态的特征检测新出现的虚假新闻事件；K.Dhruv等人提出了一种基于自编码的方法来学习多模态信息的共享表达，用于进行虚假新闻检测。然而，这些工作更加专注于如何融合不同模态的信息，忽略了对视觉内容这一模态的有效建模。由于缺乏任务相关的信息，这些工作所采取的通用的视觉表达不能反映虚假新闻图像的本质特征，削弱了视觉内容在虚假新闻检测任务中的表现。

发明内容

为解决上述问题，本发明提出一种基于多域视觉特征的新闻图像检测方法，包括：提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。