[发明专利]基于双线性池化的多模态融合在线谣言检测方法及系统

权利要求书

1.基于双线性池化的多模态融合在线谣言检测方法，其特征在于，包括以下步骤：

待检测数据集中包含谣言事件的原始新闻文本和传播信息，去除所述原始新闻文本中对于文本语义特征提取没有贡献以及具有误导作用的信息；提取所述传播信息中回复的传播关系和回复的文本内容，得到基于回复关系的图结构，其中每个节点为一条回复，将回复特征按邻接矩阵A的顺序排列，得到每条谣言事件中所有回复信息的特征，其中邻接矩阵A包含传播的结构信息，特征矩阵X包含传播的内容信息；

采用预训练的BERT base模型提取所述原始新闻文本的语义特征，采用基于TextCNN的短文本主题分类器提取待检测数据集中原始新闻文本的主题特征x_topic，并将并将主题特征x_topic作为语义特征x_se的指导；将主题特征x_topic与语义特征x_se通过交叉注意机制得到主题信息加权后的语义特征，基于GRU中更新门的思想，对加权后的语义特征进行更新得到主题指导的高阶文本特征x^t；

基于图卷积神经网络提取传播结构模态特征编码：计算传播结构图的PageRank值，并将其用于特征加权，得到原始新闻回复的加权文本特征，基于加权文本特征和邻接矩阵A提取谣言传播结构自上而下和自下而上两个方向的特征；提取谣言传播结构的图卷积神经网络包括两个图卷积层以及激活函数；再将所述两个方向的特征进行平均池化和级联得到高阶传播结构特征x^p；

采用改进的块对角分解方法对双线性池化模型中用于多模态融合的张量分解为一个块对角张量和三个投影矩阵，双线性池化模型两个输入特征的投影矩阵C^t和C^p与对角张量块一一对应，再将特征投影部分替换为类似于TT-Layer的链式投影，得到高阶文本特征的投影和传播结构特征的投影通过块对角张量融合，对每个对角块的切片矩阵施加稀疏性约束，输出特征的投影矩阵C^f对融合特征进行线性映射，输出多模态联合表示特征x^f；

将多模态联合表示特征x^f经过全连接层编码，并通过softmax函数输出模型预测的每个类别的概率，即得到谣言检测结果。

2.根据权利要求1所述的基于双线性池化的多模态融合在线谣言检测方法，其特征在于，采用预训练的BERT base模型提取谣言原始文本的语义特征，预训练的BERT base模型包含12个堆叠的Transformer encoder层，将谣言原始文本发明本r输入经过预训练的BERT模型，选取最后一层输出为谣言原始文本的词嵌入向量，并对输出进行padding，将长度小于预设值的每一列补0，得到包含句意的词嵌入特征x_BERT：

x_BERT＝padding[BERT(r)]

将所述词嵌入特征按文本顺序输入双向LSTM网络并将两个方向的输出级联，作为谣言的语义特征x_se:

在整个模型的训练过程中，将预训练的BERT部分的参数冻结，仅更新Bi-LSTM的参数；

预训练一个基于TextCNN的短文本主题分类器；训练中应用dropout和梯度裁剪，将原始新闻文本的word2vec词嵌入输入经过预训练的TextCNN模型中，输出softmax前一层的向量作为原始新闻文本的主题特征向量x_topic：

x_topic＝TextCNN(r)。