[发明专利]基于双线性池化的多模态融合在线谣言检测方法及系统

说明书

本发明公开一种基于双线性池化的多模态融合在线谣言检测方法及系统，该方法应用预训练的句BERT模型提取了谣言的语义特征，设计一个主题语义融合网络共同编码语义和主题特征，并生成相比传统语义特征更高效的主题指导的高阶文本特征，设计基于PageRank影响力加权的双向GCN网络，通过获取传播结构中节点的相对位置信息生成相比传统GCN网络更有效的传播结构特征，对于完整数据集的谣言检测任务，本发明设计块对角分解双线性池化模型，该模型刻画了多模态间的丰富交互，利用富含交互关系的多模态联合表示特征提升谣言检测的准确率，在其中应用链式映射和改进的块对角分解控制训练参数规模以降低刻画交互的张量中的冗余信息。

技术领域

本发明属于人工智能识别技术领域，具体涉及一种基于双线性池化的多模态融合在线谣言检测方法及系统。

背景技术

在这个信息爆炸的时代，社交媒体推文的激增使得依靠人工追踪揭穿假消息的事实核查网站在效率和覆盖面等方面都显现出了不足，因此开发自动化谣言检测模型成为社会的迫切需要。自动化谣言检测指从谣言事件中提取文本、传播、用户配置资料等相关特征，构建模型使其应用所提取的相关特征对谣言进行分类的任务，随着带注释的谣言检测数据集，如Weibo、 Twitter15、Twitter16的出现，应用机器学习和深度学习技术训练有监督的分类器进行谣言检测成为主流。传统的机器学习方法根据谣言事件的各种信息手工构造一系列特征，应用决策树、支持向量机等模型对谣言的真假进行分类。随着深度学习的发展，研究者们开始训练深度神经网络提取谣言相关的高阶特征，例如应用NLP技术提取新闻的高阶文本特征、应用基于GCN 的网络提取新闻的高阶传播特征，结果表明深度学习模型提取出的高阶特征在谣言检测任务中表现出更好的效果。

近几年多模态融合技术被广泛的应用于深度学习的多项研究中，结果表明相较于提取单一模态特征，提取要解决问题中的多种模态的特征，通过适合下游问题的融合技术刻画多模态特征之间的关系，并应用多模态联合表示特征解决目标问题更有效。受到多模态融合的启发，在谣言检测领域研究者们针对不同的数据集，提取新闻事件样本中的多种模态特征共同用于谣言检测。

目前谣言检测模型主要分为两类，其中基于单模态特征的模型虽然设计了先进的网络结构提取相关特征，但单模态特征往往不能提供完备的谣言检测信息。例如对于文本特征，谣言往往会使用含糊不定或干扰公众判断的词语，使得模型无法准确对其鉴别；对于传播结构特征，仅通过谣言的传播结构相关信息进行谣言检测在准确率上也无法保证。

新闻事件的多模态特征间存在关联，且它们的关联也为谣言检测提供了重要信息，然而对多模态特征简单线性叠加忽略了特征间的联系，基于注意力的融合模型虽然对多模态特征进行了交互，但也没有刻画特征间的关系信息且模型缺乏可解释性。相较而言，双线性池化模型可以编码特征间的完全二阶交互，最大限度刻画了多模态之间的关联，从而得到完备的多模态联合表示特征。但该方法实际上相当于通过一个三维张量融合两个输入特征，它的参数随输入维数呈二次增长，尽管有研究者应用多模态因子分解双线性池化的方法对交互矩阵进行低秩分解以缩小参数规模，但该方法同样缺失了对两种模态高阶特征之间交互的编码。虽然现存多种张量分解方法被应用于深度学习相关任务以减少模型训练参数，但这些方法仍存在维数限制或多模态特征交互欠缺等问题，使得双线性池化模型性能受到限制。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于双线性池化的多模态融合在线谣言检测方法，针对缺乏多模态特征关系信息编码的问题，提出改进的块对角分解双线性池化模型 (MM-Block)，在防止出现维数灾难的前提下，尽可能提升单模态特征投影空间的维数，同时充分刻画了特征间关系。

为了实现上述目的，本发明采用的技术方案是：基于双线性池化的多模态融合在线谣言检测方法，包括以下步骤：