[发明专利]一种引入关联关系的文本表示学习方法

说明书

本发明公开了一种引入关联关系的文本表示学习方法，包括以下步骤：步骤1：根据数据集中文本之间的关联关系构建关联关系网络G，并在所述关联关系网络G上随机游走，得到游走序列S；步骤2：基于步骤1中输出的游走序列S，联合学习数据集中文本之间的关联关系信息和每个文本的内容语义信息，构建引入关联关系的文本表示学习模型，所述引入关联关系的文本表示学习模型包括两个SkipGram模型；步骤3：将步骤2中两个SkipGram模型学习到的文本表示进行拼接，得到最终的文本表示。本发明的引入关联关系的文本表示学习方法同时融合文本的内容信息和结构关联关系信息，使得文本分类的准确率得到提升。

技术领域

本发明涉及计算机应用技术领域，更具体地涉及一种引入关联关系的文本表示学习方法。

背景技术

随着信息技术的发展，包含文本信息的数据在日益增加，如何从海量复杂的文本数据中获取有用的信息是一个值得研究的问题。由此，文本表示学习受到了人们的广泛关注，其目标是通过某种方式将文本中的重要信息表示成低维稠密的向量，以便应用在各种下游任务中，例如文本情感分类、新闻文章主题分类、检索中用户查询意图分类等等。

文本表示学习相关模型大致可以分为三类：基于向量空间的模型、基于主题的模型、基于神经网络的模型。

向量空间模型是一种把文本内容转化为向量表示的代数模型，在信息检索、过滤、索引等领域都有广泛的应用。常用的基于向量空间的模型有TF-IDF和潜在语义分析(LSA)。TF-IDF方法中文本表示维度为对应词表的维度，在该方法中有两个重要的定义，即词频和逆文档频率。词频是指某个给定的单词在该文本中出现的频率，单词的逆文档频率是通过总文本文件的个数除以包含该词的文本文件数目，再对结果取对数计算得到的。向量中每个元素为对应词的词频和逆文档频率的乘积。LSA是通过构建文档与词项的共现矩阵来得到对应文本的向量表示。在该共现矩阵中，行代表文本，列代表单词项，矩阵中的每一个元素均是通过TF-IDF方法计算得到，然后通过奇异值分解(SVD)的方法进行降维，得到文本表示。该方法同样不能体现词的位置信息，忽略了语序，主要适用于长文本。TF-IDF和LSA方法只考虑了文本本身的语义信息，只关注了文本本身包含的单词信息，没有考虑文本之间的关联信息，学习到的文本表示是片面的。

主题模型尝试从概率生成模型的角度实现文本表示学习，文本表示的每一个维度代表一个“主题”，这个主题通常是一组词的聚类，因此该文本表示具有一定的解释性。隐含狄利克雷分布(LDA)是一种常用的主题模型方法，可以将文本中每篇文本的主题以概率分布的形式给出。它是一种典型的词袋模型，它认为一篇文章是一组词构成的集合，一篇文章可以包含多个主题，而文章中的每个词都由一个主题生成，和LSA一样不能考虑词与词之间的顺序关系。同样，LDA方法也没有考虑文本之间的关联关系。

人工神经网络(Artificial Neural Network)是近些年人工智能领域的研究热点。经典神经网络模型如卷积神经网络CNN、循环神经网络RNN等，在目前的计算机视觉领域有着广泛的应用，RNN的变体LSTM等则是广泛地应用于自然语言处理任务中。其中较为典型的是Mikolov等人提出的CBOW和SkipGram，简称Word2Vec模型，这两种模型在神经网络的基础上对词向量进行学习，训练效率较高，并且能得到高质量的词向量表示。Le等人拓展了Word2Vec模型，提出了Doc2Vec模型，可以学习文本的表示。虽然Doc2Vec模型学习到的文本表示质量较高，但是Doc2Vec只考虑了文本的内容信息，对于文本间的关联信息没有进行建模，学习到的信息不够全面。

现如今的文本数据中通常不仅包含其本身的内容信息，还具有文本间的关联关系，比如论文引用关系、微博转发关系等，这种文本间的关联关系对学习文本的表示也是至关重要的，例如，在论文主题分类任务中，论文与论文之间存在引用和被引用的关系，而存在这种关联关系的论文的主题通常是相似的，所以这种关联关系可以帮助模型学习到更全面的文本表示。而现有的模型只对文本的内容信息进行建模，忽略了文本间的关联关系，因此学习到的表示是不全面的。

发明内容