[发明专利]一种基于深度学习话题信息增强的文本文档表示方法和装置

说明书

本发明公开了一种基于深度学习话题信息增强的文本文档表示方法和装置。方法包括：S1、对文本形式的语料文档进行数据预处理操作。S2、设计文本序列层，将文档中每个词的表示向量中嵌入它在词序中的上下文信息。S3、通过注意力层将序列元素过渡到更高层次的话题信息中。S4、在话题层中，生成当前文档D在所有话题方向上的表示。S5、对所有话题信息之间的相似程度进行限制。S6、在表示层将话题表示向量融合为文档D的语义表示向量Rep。S7、通过分类器和目标函数对将Rep的参数进行更新，该方法能够高效地将文本序列上下文语义信息和潜在话题信息嵌入到文档表示向量中，并且这些经过话题信息增强的表示向量能显著提高使用它们的文本挖掘模型的性能。

技术领域

本发明涉及计算机文本表示学习领域，特别涉及一种基于深度学习增强话题信息增强的文本文档表示方法和一种基于深度学习增强话题信息增强的文本文档表示装置。

背景技术

对文本进行文档级别的、整体性地把握是很多文本处理任务的重要需求。当前，这一问题一般通过文本表示学习来解决。文本文档级别表示学习任务主要致力于构建一种将文本文档依据其内在语义信息转化为可以直接为计算机运算的表示向量的方法。具体来说，就是将文本形式的文档表示为蕴含其语义的固定长度的实数型向量。如今，文档表示学习在自然语言处理、文本挖掘和信息抽取等领域已经成为基础性、广泛性的应用。

当前最广为应用的文档表示学习方法大致有三大类，它们各有各的不足之处：(1)基于“词袋”(BoW)模型的，也被称为“向量空间模型”。这类模型生成的表示向量是稀疏的、非实数的，这类向量在之后的应用中往往效果不佳；(2)基于语义分析的方法，例如“概率潜在语义分析”模型、“LDA文档主题生成模型”，这类模型忽略了文本中词序的上下文信息，这制约了表示向量的语义携带能力；(3)基于循环神经网络的长短期记忆模型(LSTM)被广泛应用于文本文档的分布式表示向量生成。然而，普通的LSTM可能并不足以获取语料的全局性的主题信息。

上述方法的缺点显示了文档表示学习任务目前面对的困难：当模型基于语料全局性的话题信息的时候往往丢失了文档内的上下文信息(例如没有上下文信息就无法确定“苹果”一词是指水果还是科技公司)，而当专注于这些局部信息的时候全局性的话题信息又被忽视(文档间的相关性)，此外话题信息之间没有限制机制也容易导致它们趋于相似从而降低模型性能(例如分出“经济”、“娱乐”、“战车”、“军舰”这样存在冗余情况的话题组)。所有这些缺陷均会使文档的表示向量欠缺某些语义信息，会限制之后这些表示向量的在其他应用中的效果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度学习增强话题信息增强的文本文档表示方法，可以使得文本文档生成既包含词序上下文信息又包含话题信息的稠密的、实数型的表示向量。

本发明的另一个目的在于提出一种基于深度学习增强话题信息增强的文本文档表示装置。

为实现上述目的，本发明一方面实施例提出了一种基于深度学习增强话题信息增强的文本文档表示方法，包括以下步骤：

S1，对含有K个话题的某篇语料中由n个词构成的文档D＝{w₁,w₂,...,w_n}进行清理、抽取、转化和整理的数据预处理操作，获取文档的词向量矩阵D＝{x₁,x₂,...,x_n}；

S2，利用词语间的序列关系构建文本序列层，设计序列形式长短期记忆模型，获取文档的潜在语义矩阵Hs＝{h₁,h₂,...,h_n}，其中，h_i＝f₁(x_i,h_i-1)，h₀＝f₁(x₀)，f₁为神经网络节点操作；