[发明专利]一种基于深度学习话题信息增强的文本文档表示方法和装置

摘要

本发明公开了一种基于深度学习话题信息增强的文本文档表示方法和装置。方法包括：S1、对文本形式的语料文档进行数据预处理操作。S2、设计文本序列层，将文档中每个词的表示向量中嵌入它在词序中的上下文信息。S3、通过注意力层将序列元素过渡到更高层次的话题信息中。S4、在话题层中，生成当前文档D在所有话题方向上的表示。S5、对所有话题信息之间的相似程度进行限制。S6、在表示层将话题表示向量融合为文档D的语义表示向量Rep。S7、通过分类器和目标函数对将Rep的参数进行更新，该方法能够高效地将文本序列上下文语义信息和潜在话题信息嵌入到文档表示向量中，并且这些经过话题信息增强的表示向量能显著提高使用它们的文本挖掘模型的性能。

主权项

1.一种基于深度学习话题信息增强的文本文档表示方法，其特征在于，包括以下步骤：S1，对含有K个话题的某篇语料中由n个词构成的文档D＝{w1,w2,...,wn}进行清理、抽取、转化和整理的数据预处理操作，获取文档的词向量矩阵D＝{x1,x2,...,xn}；S2，利用词语间的序列关系构建文本序列层，设计序列形式长短期记忆模型，获取文档的潜在语义矩阵Hs＝{h1,h2,...,hn}，其中，hi＝f1(xi,hi‑1)，h0＝f1(x0)，f1为神经网络节点操作；S3，由所述潜在语义矩阵Hs＝{h1,h2,...,hn}生成对应的注意力强度矩阵A＝{a1,a2,...,an}，并将A矩阵转置后按行归一化得到注意力权重矩阵A*，其中ai＝f2(hi)，f2是转化函数；S4，将所述潜在语义矩阵Hs和所述注意力权重矩阵A*实现融合，获取文档所有话题的映射矩阵表示VTs，VTs＝f3(Hs,A*)，其中f3是转化函数；S5，使用跨文档的标签信息对所述话题的映射矩阵表示VTs的相似程度进行约束，获取话题信息增强后的映射矩阵表示VTk；S6，对所述VTk进行融合，获取文档D的语义表示向量Rep，其中Rep＝f4(VTk)，其中，f4为融合函数；S7，对所述Rep经过话题分类器进行分类，并根据分类精确度和话题相似度指标得到误差指数，并利用目标函数梯度下降方法更新步骤S1～S6中的模型参数。