[发明专利]基于门控机制的多模态融合谣言早期检测方法及系统

说明书

本发明公开一种基于门控机制的多模态融合谣言早期检测方法及系统，该方法应用预训练的句BERT模型提取了谣言的语义特征，设计一个主题语义融合网络共同编码语义和主题特征，并生成相比传统语义特征更高效的主题指导的高阶文本特征，设计基于PageRank影响力加权的双向GCN网络，通过获取传播结构中节点的相对位置信息生成相比传统GCN网络更有效的传播结构特征；基于门控机制的模型通过门控单元筛选传播结构特征中对谣言检测有意义的部分，自适应地对主题指导的文本特征和筛选后的传播结构特征进行加权融合，生成多模态联合表示特征；经过训练的多模态门控融合模型可以筛选出传播结构特征中有用的信息，在传播信息不足的情况下达到良好的谣言检测性能。

技术领域

本发明属于人工智能识别技术领域，具体涉及一种基于门控机制的多模态融合谣言早期检测方法及系统。

背景技术

在这个信息爆炸的时代，社交媒体推文的激增使得依靠人工追踪揭穿假消息的事实核查网站在效率和覆盖面等方面都显现出了不足，因此开发自动化谣言检测模型成为社会的迫切需要。自动化谣言检测指从谣言事件中提取文本、传播、用户配置资料等相关特征，构建模型使其应用所提取的相关特征对谣言进行分类的任务，随着带注释的谣言检测数据集，如Weibo、 Twitter15、Twitter16的出现，应用机器学习和深度学习技术训练有监督的分类器进行谣言检测成为主流。近几年多模态融合技术被广泛的应用于深度学习的多项研究中，结果表明相较于提取单一模态特征，提取要解决问题中的多种模态的特征，通过适合下游问题的融合技术刻画多模态特征之间的关系，并应用多模态联合表示特征解决目标问题更有效。受到多模态融合的启发，在谣言检测领域研究者们针对不同的数据集，提取新闻事件样本中的多种模态特征共同用于谣言检测。

目前谣言检测模型主要分为两类，其中基于单模态特征的模型虽然设计了先进的网络结构提取相关特征，但单模态特征往往不能提供完备的谣言检测信息。例如对于文本特征，谣言往往会使用含糊不定或干扰公众判断的词语，使得模型无法准确对其鉴别；对于传播结构特征，仅通过谣言的传播结构相关信息进行谣言检测在准确率上也无法保证。

对于某些特殊情况，例如谣言传播的早期阶段，谣言的回复信息十分有限，此时谣言的传播结构中可能只有极少的回复信息，则基于图卷积网络的传播结构特征编码器能提取的传播结构信息较少，在这种情况下其他多模态融合方法可能会编码大量无意义的交互信息，这可能对模型的性能产生影响。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于门控机制的多模态融合谣言早期检测方法，基于门控机制的模型通过门控单元筛选传播结构特征中对谣言检测有意义的部分，并且自适应地对主题指导的文本特征和筛选后的传播结构特征进行加权融合，最后生成多模态联合表示特征。

为了实现上述目的，本发明采用的技术方案是：基于门控机制的多模态融合谣言早期检测方法，包括以下步骤：

待检测数据集中包含谣言事件的原始新闻文本和传播信息，去除所述原始新闻文本中对于文本语义特征提取没有贡献以及具有误导作用的信息；提取所述传播信息中回复的传播关系和回复的文本内容，得到基于回复关系的图结构，其中每个节点为一条回复，将回复特征按邻接矩阵A的顺序排列，得到每条谣言事件中所有回复信息的特征，其中邻接矩阵A包含传播的结构信息，特征矩阵X包含传播的内容信息；

采用预训练的BERT base模型提取所述原始新闻文本的语义特征，采用基于TextCNN的短文本主题分类器提取待检测数据集中原始新闻文本的主题特征x_topic，并将并将主题特征x_topic作为语义特征x_se的指导；将主题特征x_topic与语义特征x_se通过交叉注意机制得到主题信息加权后的语义特征，基于GRU中更新门的思想，对加权后的语义特征进行更新得到主题指导的高阶文本特征x^t；