[发明专利]一种基于超图的文本分类方法

权利要求书

1.一种基于超图的文本分类方法，其特征在于，包括如下步骤：

步骤一、构建语料库和语料库的关键词库KW，基于语料库生成超图，得到超图的超边和结点；

步骤二、基于共现窗口计算关键词库KW中任意两个关键词的共现频数，得到关键词的邻接矩阵A；

步骤三、对语料库C中的每一个文档使用超边向量表示，并将所有超边向量进行拼接，形成超边矩阵H；

步骤四、根据语料库中任意两个文档中所包括的关键词，计算超边之间的相似度，构建超边的相似度矩阵S；

步骤五、将关键词库KW中的关键词使用词向量表示，构建由词向量组成的超图结点特征矩阵X；

步骤六、使用图神经网络模型对超边进行分类，得到语料库中每个文档类别的第一次预测概率；

所述步骤六中图神经网络模型定义如公式1所示：

其中，X′为超边的状态向量，表示为H为超边矩阵，X为超图结点特征矩阵；A为关键词的邻接矩阵，S为超边的相似度矩阵，I_A为维度与矩阵A相同的单位矩阵，I_S为维度与矩阵S相同的单位矩阵；分别是矩阵的度矩阵；分别为结点和超边的拉普拉斯矩阵，用于图卷积运算；W为可学习的参数矩阵，用于对输入的特征矩阵进行线性变换；O为图神经网络模型的输出，输出语料库中每个文档类别的预测概率；

步骤七、基于文档的真实标签，采用随机梯度下降算法更新图神经网络模型的参数矩阵，并将训练后的参数矩阵代入图神经网络模型，完成语料库中无标签文本的分类。

2.根据权利要求1所述的基于超图的文本分类方法，其特征在于，所述步骤一中，语料库C由若干个文档D构成，将语料库C中的所有文档进行分词、去停用词处理，并计算每个文档的TF-IDF值,取所有文档中TF-IDF值大于阈值p的单词构成语料库的关键词库KW，其中0＜p＜1；基于语料库C生成超图，将关键词库KW中的关键词作为超图的结点，语料库C中的每个文档作为超图中的一个超边；将语料库C中的每个文档均表示为关键词库KW中关键词的集合。

3.根据权利要求1所述的基于超图的文本分类方法，其特征在于，所述步骤二中，设定词共现窗口大小q,q＞1，根据共现窗口计算关键词库KW中所有关键词在语料库C的所有文档中的共现频数，并进行共现频数的归一化，得到关键词的邻接矩阵A。

4.根据权利要求1所述的基于超图的文本分类方法，其特征在于，所述步骤三中，对语料库C中的每一个文档，分别通过超边向量e来表示，其中，超边定义为超图的结点集合V的一个非空子集，超边向量中的每个元素表示关键词在该文档中的权重，关键词在文档中权重的具体定义方法为：若关键词出现在该文档中，则使用归一化后的TF-IDF值作为权重，对于文档中未出现的关键词，将其权重设置为0；将语料库C中的每一个文档的超边向量进行拼接，形成超边矩阵H。

5.根据权利要求1所述的基于超图的文本分类方法，其特征在于，所述步骤四中超边的相似度矩阵S的具体构建方法为：

统计语料库中任意两个文档所包括的关键词的交集和并集，使用Jaccard系数计算超边之间的相似度，构建超边的相似度矩阵S。

6.根据权利要求1所述的基于超图的文本分类方法，其特征在于，所述步骤七具体包括：

首先，采用随机梯度下降算法随机选取训练样本，计算训练样本的类别预测概率和文档的真实标签的交叉熵损失；

其次，分别计算交叉熵损失对于参数矩阵W₁、W₂的梯度，并更新参数矩阵W₁和W₂的值，如公式2所示；训练集上的一次迭代包括样本类别预测、计算交叉熵损失、计算参数矩阵梯度、更新参数矩阵四步，经过固定的迭代次数后，得到最终的参数矩阵W₁和W₂；

其中，W代表可学习的参数矩阵，α为学习率，控制参数更新的步长，为交叉熵损失函数对参数W的梯度；

再次，将训练后的参数矩阵W₁和W₂代入图神经网络模型，得到语料库中每个文档类别的最终预测概率，完成语料库中无标签文本的分类。