[发明专利]一种基于多模态关系的网络谣言检测方法

权利要求书

1.一种基于多模态关系的网络谣言检测方法，其特征在于，包括：

获取网络平台上发布的待检测的信息，包括图像以及相关的文本；

对于图像，通过预训练的fasterR-CNN模型提取出图像中包含不同类别物体的视觉特征向量；

对于文本，进行预处理后，通过门控循环单元进行语义向量的提取；

通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量；将再次更新得到的视觉特征向量与语义向量连接在一起，再通过一个二分类器，获得待检测的信息为谣言类别与真实类别的概率；

其中，所述通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量包括：

视觉特征向量与语义向量各自作为一个模态信息，通过注意力机制提取每一个(视觉特征向量，语义向量)对的重要程度，根据重要程度实现不同模态信息之间流动，以更新各模态信息，通过信息流动过程来实现图像与文本之间跨模态关联；操作过程如下：

对视觉特征向量与语义向量分别进行线性变换，得到注意力机制所需的k值、q值与v值，再通过向量内积获得模态间注意力权重：

其中，E表示语义向量，V表示视觉特征向量；k值、q值与v值是注意力机制里固有的变量，分别是键值、查询值与上下文向量；q_V、k_V表示视觉特征向量V的q、k值，q_E、k_E表示语义向量E的q、k值，dim代表向量维度；InterAtt_E→V、InterAtt_V→E依次表示语义向量到视觉特征向量的注意力权重、视觉特征向量到语义向量的注意力权重；

之后根据注意力权重，利用其他模态信息更新本模态信息特征向量，实现信息在不同模态间流动：

V′＝InterAtt_E→V×v_E

E′＝InterAtt_V→E×v_V

其中，v_E、v_V分别表示语义向量E、视觉特征向量V的v值；

再将更新后的视觉特征向量V′和语义特征向量E′与最初的视觉特征向量V和语义向量E通过全连接层进行串联，得到视觉特征向量V^*和语义特征向量E^*。

2.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，包含不同类别物体的视觉特征向量表示为V＝{v₁，v₂，...，v_K}，其中，v_i代表一个物体的视觉特征向量，K表示特征向量总数目，i＝1，2，...，K。

3.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，所述的相关的文本包括：待检测的信息所包含的文本、以及其他用户转发该待检测的信息时附带的文本。

4.根据权利要求2所述的一种基于多模态关系的网络谣言检测方法，其特征在于，对文本进行预处理包括：去除文本中的冗余信息，仅保留文字信息，再拼接为文本序列，拼接间隙使用分隔符作为标识；所述冗余信息至少包括如下信息的一种或多种：符号表情、特殊字符、统一资源定位符。

5.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，通过门控循环单元进行语义向量的提取之前，使用预训练的GLOVE进行词特征的向量化，将预处理后的文本表示为矩阵形式，再使用门控循环单元进行特征提取，从而得到语义向量。

6.根据权利要求1所述的一种基于多模态关系的网络谣言检测方法，其特征在于，所述基于更新后的视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而再次更新视觉特征向量与语义向量包括：

对视觉特征向量V^*与语义向量E^*分别进行池化并仿射变换到与k值、q值与v值相同的维度，之后计算通道式条件门向量M_V→E，M_E→V将另一模态信息引入：

M_V→E＝Sigmoid(Linear(V^*_pool))

M_E→V＝Sigmoid(Linear(E^*_pool))

其中，Linear(V^*_pool)与Linear(E^*_pool)分别为视觉特征向量V^*与语义向量E^*进行池化与仿射变换结果；Sigmoid表示Sigmoid函数；

两种通道式条件门向量对两种模态的k值与q值进行调制，k值与q值将通过在其他模态的通道式条件门进行激活或停用操作，更新后的k值与q值为：

上式中，表示再次更新后的视觉特征向量的q、k值，表示再次更新后的语义向量的q、k值；表示输入的视觉特征向量V^*的q、k值，表示输入的语义向量E^*的q、k值；

得到再次更新后的k值与q值后，利用注意力机制生成权重，并更新视觉特征向量与语义向量各自内部动态信息：

其中，IntraAtt_V→V、IntraAtt_E→E依次表示视觉特征向量内部的注意力权重、语义向量内部的注意力权重，分别为视觉特征向量V^*、语义向量E^*的v值。