[发明专利]基于语义相关性的文本分类方法

权利要求书

1.一种基于语义相关性的文本分类方法，其特征在于，所述方法包括以下步骤：

对有标签文本数据进行预处理，从而获取有标签文本数据中的文本监督器，所述文本监督器为文本中与文本类别语义密切相关的一系列词；

通过文本关联结构信息，构建文本监督器识别子模型，获取无标签文本中的文本监督器；

根据文本监督器和文本类别之间的强关联性，将标注有文本监督的文本数据作为输入，采用经典的双向长短时记忆网络(Bi-directional Long Short-Term Memory,BILSTM)模型，提取原始文本的语义特征；

利用特征增强机制获取基于文本监督器增强表示的文本特征，采用拼接的方式将原始文本的语义特征和基于文本监督器增强表示的文本特征进行融合；

将融合结果经SoftMax函数，进而获取文本分类结果。

2.根据权利要求1所述的一种语义相关性的文本分类方法，其特征在于，所述对有标签文本数据进行预处理，从而获取有标签文本数据中的文本监督器包括：

将有标签文本数据进行词嵌入，所述词嵌入采用基于词级别和字符级别的向量进行拼接，获取有标签文本中每一个词所对应的词向量，以及文本类别词的语义特征；然后通过文本中每一个词所对应的词向量和文本类别词的语义特征进行内积得到内积分数向量E_score，再利用归一化方法将E_score归一化到区间[0,1]，选择归一化分数大于阈值α₁的词作为文本监督器词，所述α₁设置为0.6。

3.根据权利要求1所述的一种语义相关性的文本分类方法，其特征在于，所述构建文本监督器识别子模型包括图构造、图分解、图嵌入、词节点分类：

对于图构造方式是基于输入的文本序列信息构造句子图，并通过顺序边和语义边两种边融合进行句子图的连接；

其中顺序边按照文本中词节点的顺序依次连接；语义边是根据文本中各个词节点所对应的词向量之间相互内积得到内积分数向量E_score，再利用归一化方法将E_score归一化到区间[0,1]，选择归一化分数大于阈值α₂的两个词节点进行连接，所述α₂设置为0.7；

对于图分解方式是依次选取文本中的词节点作为中心词节点，并取其一阶邻居子图将句子图分解为N个词节点子图，并添加一个节点特征，从而区分词节点子图的中心词节点和其它词节点；然后利用图神经网络(GNN)嵌入词节点子图，捕获中心词节点的一阶邻居子图的结构信息，并将这些结构信息聚合到中心词节点，获取每一个中心词节点的嵌入特征，得到词节点嵌入特征矩阵；

将词节点嵌入特征矩阵作为输入，通过一个词节点分类器，获取每一个词节点分数，进而获取文本类别监督识别结果。

4.根据权利要求1所述的一种语义相关性的文本分类方法，其特征在于，所述特征增强机制包括：

将原始文本特征，通过多通道注意力机制(Structured Attention)学习多组权重向量来拟合文本中文本监督器不同成份的重要性，深入捕获文本监督器的语义信息，计算方式如下：

α_m＝SoftMax(U₂tanh(U₁M^T))f_m＝α_mM

其中，M代表了文本中所有文本监督器词的隐藏层特征矩阵，U₁和U₂和代表了计算文本监督器注意力分数的可学习参数矩阵，α_m分别代表了文本监督器特征的注意力权重，f_m代表了文本监督器特征，

为了获取基于文本监督器增强表示的文本特征H'，通过引入全局注意力机制(GlobalAttention)，关注当前单词与文本中其它单词相关性，得到该单词在文本层面的特征表示，深入学习句级别的语义信息，如下所示：

α＝SoftMax(v^Ttanh(W₁H^T+W₂f_m^T)^T)

H'＝αH

其中，v，W₁，W₂为可学习参数矩阵，α为基于文本监督器增强表示的文本特征的注意力权重。