[发明专利]基于门控机制的多模态融合谣言早期检测方法及系统

权利要求书

1.基于门控机制的多模态融合谣言早期检测方法，其特征在于，包括以下步骤：

待检测数据集中包含谣言事件的原始新闻文本和传播信息，去除所述原始新闻文本中对于文本语义特征提取没有贡献以及具有误导作用的信息；提取所述传播信息中回复的传播关系和回复的文本内容，得到基于回复关系的图结构，其中每个节点为一条回复，将回复特征按邻接矩阵A的顺序排列，得到每条谣言事件中所有回复信息的特征，其中邻接矩阵A包含传播的结构信息，特征矩阵X包含传播的内容信息；

采用预训练的BERT base模型提取所述原始新闻文本的语义特征，采用基于TextCNN的短文本主题分类器提取待检测数据集中原始新闻文本的主题特征x_topic，并将并将主题特征x_topic作为语义特征x_se的指导；将主题特征x_topic与语义特征x_se通过交叉注意机制得到主题信息加权后的语义特征，基于GRU中更新门的思想，对加权后的语义特征进行更新得到主题指导的高阶文本特征x^t；

基于图卷积神经网络提取传播结构模态特征编码：基于PageRank算法，计算传播结构图的PageRank值，并将其用于特征加权，得到原始新闻回复的加权文本特征，基于加权文本特征和邻接矩阵A提取谣言传播结构自上而下和自下而上两个方向的特征；

基于门控机制的模型通过门控单元筛选传播结构特征中对谣言检测有意义的部分，并且自适应地对主题指导的文本特征和筛选后的传播结构特征进行加权融合，最后生成多模态联合表示特征x^f；

将多模态联合表示特征x^f经过全连接层编码，并通过softmax函数输出模型预测的每个类别的概率，即得到谣言检测结果。

2.根据权利要求1所述的基于门控机制的多模态融合谣言早期检测方法，其特征在于，采用预训练的BERT base模型提取谣言原始文本的语义特征，预训练的BERT base模型包含12个堆叠的Transformer encoder层，将谣言原始文本发明本r输入经过预训练的BERT模型，选取最后一层输出为谣言原始文本的词嵌入向量，并对输出进行padding，将长度小于预设值的每一列补0，得到包含句意的词嵌入特征x_BERT：

x_BERT＝padding[BERT(r)]

将所述词嵌入特征按文本顺序输入双向LSTM网络并将两个方向的输出级联，作为谣言的语义特征x_se:

在整个模型的训练过程中，将预训练的BERT部分的参数冻结，仅更新Bi-LSTM的参数；

预训练一个基于TextCNN的短文本主题分类器；训练中应用dropout和梯度裁剪，将原始新闻文本的word2vec词嵌入输入经过预训练的TextCNN模型中，输出softmax前一层的向量作为原始新闻文本的主题特征向量x_topic：

x_topic＝TextCNN(r)。

3.根据权利要求1所述的基于门控机制的多模态融合谣言早期检测方法，其特征在于，基于主题语义融合网络，将主题特征x_topic与语义特征x_se通过交叉注意机制得到主题信息加权后的语义特征，具体为：其中权重

基于GRU中更新门的思想，将所述加权后的语义特征与主题特征通过一个带有sigmoid激活函数的全连接层生成更新向量v，加权后的语义特征通过以tanh为激活函数的全连接层产生一个新的候选向量o，对两部分进行线性插值，得到主题指导的高阶文本特征x^t：

v＝σ([x′_se,x_topic]W_v+b_v)

o＝tanh(x′_seW_o+b_o)

x^t＝v*x_topic+(1-v)*o

式中：W_v,W_o,b_v,b_o为可训练的参数矩阵及偏差项。