[发明专利]一种文档向量生成方法

说明书

本发明公开了一种文档向量生成方法，该方法首先将文档中的每句话的字转换为一个列表，再将每句话的列表构成该文档的列表，最后将文档列表中的每个文字映射到唯一的整型数字，然后将窗口在文档列表中进行滑动，得到层级注意力网络的训练样本；其次构建包括词级编码器、词级注意力层、句级编码器、句级注意力层和文档注意力的层级注意力网络；然后构建语言模型框架，层级注意力网络和语言模型框架构成语言模型，对语言模型进行训练，模型中待训练的参数得以拟合，语言模型训练完后，将预测数据输入到模型中，可得到其文档向量。本发明方法在使用时，不需要每篇不同的文档都再次训练部分变量，极大降低了使用成本。

技术领域

本发明涉及文档向量生成领域，尤其涉及一种文档向量生成方法。

背景技术

近年来，使用深度学习的方法为词、句或文档学习低维实值的向量表达在自然语言处理领域得到了广泛的应用，在一些文本分类、文本相似度计算和情感分析的自然语言处理任务中，文档向量的好坏直接影响着任务的结果。

现有的关于文档特征向量生成的方法，是基于word2vec(Le Q V,MikolovT.Distributed Representations of Sentences and Documents[J].2014.)词向量模型，在语言模型的训练过程中增加一个文档特征向量，在训练词向量的同时，直接训练出了文档向量。这种文档向量模型，虽然捕捉了词间的语义和顺序信息，但能够捕捉到的范围却是有限；并且由于文档向量是直接训练的，意味着每篇不同的文档，其向量都需要重新训练，这就造成了训练集的文档向量也需要训练，而不是直接预测。

现有的文档向量生成方法一般都很难关注到整篇文档信息，并且训练好的模型用于预测新文档的向量时，还需要对部分变量进行再训练，这在生产环境下是一项很高的成本。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于层级注意力网络的文档向量生成方法，因使用注意力网络，得以捕捉到整篇文档的信息，并且在预测时不需要对任何变量再训练。

本发明的目的是通过以下技术方案来实现的：一种文档向量生成方法，该方法包括以下步骤：

(1)数据准备；

(1.1)将文档中的每句话的字转换为一个列表，再将每句话的列表构成该文档的列表，最后将文档列表中的每个文字映射到唯一的整型数字，记为doc；

(1.2)将窗口大小为window_size的窗口在文档列表中进行滑动，窗口内的文字列表记为words，窗口内的第window_size//2个文字记为label；一篇文档最后形成多个words和label，而一个样本的数据将包括doc、words和label，一篇文档最后将形成多个样本作为层级注意力网络的训练样本，这些样本的doc相同，但words和label不同。

(2)构建层级注意力网络；所述层级注意力网络包括词级编码器word encoder、词级注意力层word attention、句级编码器sentence encoder、句级注意力层sentence_attention和文档注意力doc_attention；所述word encoder层与sentence encoder层均是序列编码器sequence encoder层类型；word attention层和sentence attention层均是注意力网络，二者上下文文本 context不同，word attention层的context为u_w，而sentenceattention层的context为u_s；

(3)语言模型框架：将层级注意力网络输出的doc_attention和words对应的字向量拼接后，采用softmax映射到label；所述字向量为嵌入矩阵W_e的某一列，通过words的整型数字从嵌入矩阵W_e索引到其对应的字向量；