[发明专利]一种基于预训练语言模型的多模态网络谣言检测方法

权利要求书

1.一种基于预训练语言模型的多模态网络谣言检测方法，其特征在于，包括：

获取待检测信息，所述待检测信息包括图像以及相关的文本信息；

通过预训练的深度卷积神经网络提取图像的特征向量，通过预训练语言模型提取文本信息的文本特征向量；

将图像的特征向量与文本特征向量映射到同一个特征空间并进行连接，获得多模态特征向量；

利用Softmax二分类器，获得待检测信息为谣言和非谣言这两个类别的概率。

2.根据权利要求1所述的一种基于预训练语言模型的多模态网络谣言检测方法，其特征在于，所述通过训练好的深度卷积神经网络提取图像的特征向量包括：

深度卷积神经网络包括依次连接若干卷积层以及全连接层，每一卷积层后都接入批标准化层进行正则化；经过若干卷积层处理得到的特征图通过全连接层进行整合，得到图像的特征向量。

3.根据权利要求1所述的一种基于预训练语言模型的多模态网络谣言检测方法，其特征在于，所述通过训练好的语言模型提取文本信息的文本特征向量包括：

对文本信息进行预处理，过滤掉特征字符与统一资源定位符；

使用预训练语言模型对预处理后的文本信息进行处理，获得句子级别的向量表示作为文本特征向量。

4.根据权利要求1所述的一种基于预训练语言模型的多模态网络谣言检测方法，其特征在于，将深度卷积神经网络、语言模型以及二分类线性分类器作为一个整体进行训练；训练过程中的损失函数采用交叉熵损失函数，

训练时采用交替优化的策略，即，先固定语言模型的输出，优化深度卷积神经网络；然后固定深度卷积神经网络的输出，优化语言模型；交替优化时，Softmax二分类器作为输出层一并进行训练，如此反复交替优化，直至收敛。

5.根据权利要求4所述的一种基于预训练语言模型的多模态网络谣言检测方法，其特征在于，所述语言模型包括ZEN模型；

ZEN模型根据中文的多个字组合成一个词的特点，结合了多粒度编码和字编码进行预训练；

ZEN模型，首先在语料库中基于频率对字进行多粒度组合，形成词组，构造多粒度的词汇表；在接收字序列输入时，会根据建立好的词汇表抽取输入的字序列中出现的词组；之后，会对输入的字序列和抽取的词组使用多层transformer分别进行编码，得到每个字与词组的向量表示，从而增强每个字的向量表示。