[发明专利]一种基于自动编码的文本表示学习方法、系统及电子设备

说明书

本申请涉及一种基于自动编码的文本表示学习方法、系统及电子设备。该方法包括：步骤a：使用编码器对原始文本进行编码，生成原始文本编码后的向量表达，并通过编码矩阵输出编码后的文本；步骤b：随机删除所述原始文本中的词，并将被删除的词的词向量置0，将未被删除的词使用预训练好的词向量表示，得到新的文本；步骤c：将所述编码后的文本与新的文本输入到解码器中，并通过解码矩阵预测所述被删除的在时间片t的待预测词的向量表达。本申请采用字谜游戏的方法，结合基于神经网络的自动编码机制，生成给定文本更精确的向量表达。实验结果表明，本申请能提高文本分类、信息抽取等自然语言任务的准确率，改进自然语言处理任务的效果。

技术领域

本申请属于文本表示学习技术领域，特别涉及一种基于自动编码的文本表示学习方法、系统及电子设备。

背景技术

在自然语言处理任务中，文本表示作为数据处理的基础步骤，引起了广泛的研究。在自然语言处理的实际应用中，若能对输入的文本进行精确的表达往往能提高自然语言处理的效率和效果。

在无监督文本表达中，最早的文本表示方法为词袋法(bag-of-words)。词袋法用一个one-hot向量来表示文本中出现的每一个词，此one-hot向量的每一维代表一个文本中的词，若维度对应的词为当前词，则此维度的值为1，否则为0。因此，在词袋法中，每一个词被表示为一个高维的，只有一个维度值为1而其他维度值为0的向量，向量长度为文本中出现过的词的数量。另外，隐性语义分析(LatentSemantic Analysis)[Evangelopoulos NE.Latent semantic analysis[J].Annual Review of Information ScienceTechnology,2013,4(6):683-692.]的方法先构造词频矩阵，再运用矩阵降维，矩阵分解的方法来习得词语的向量表达。其次，word2vec[Goldberg Y,Levy O.word2vec Explained:deriving Mikolov et al.'s negative-sampling word-embedding method[J].EprintArxiv,2014.]的方法通过材料库中每个词的上下文，采用神经网络学习一个语言模型，根据学习得到的语言模型得到每个词语的表达。Word2vec方法构造成的词语表达能够包含词语的语义及语法信息。

在文本表达方面，现有技术中也提出了很多基于机器学习和统计的方法。然而，现有的方法虽然可以学习出词语的向量表达，但对训练数据运用的不充分导致学习出的向量表达不够精确，另外，简单的将词语表达的连接作为文本表达也使得最终的表达缺失了对应文本的独特信息。具体来说，现有的文本表达方法存在以下几点不足：

1)词袋法的表达使得最终的表达为稀疏且高维的，容易使数据产生维度灾难而影响最终的自然语言处理任务的效果。且在词袋法中，无法表示词与词之间的关系。例如‘电脑’和‘计算机’在词袋法中被视为完全不同的词。

2)词袋法及隐性语义模型，或者其他基于矩阵分解的词向量学习法无法有效利用词语的语序信息。例如，‘The dog is in front of the cat’(狗在猫前面)和‘The cat isinfront of the dog’(猫在狗前面)，在构造词袋表示或者词频矩阵时，这两句话的表示是一样的，以致习得的表达是无法利用语序信息的。

3)现有的文本表达方法多为简单的将其中的词向量连接，这种表达方法无法有效的表达文本的全局信息。

4)因为每个文本长度不同，通过拼接词向量的方法而产生的文本表达长短不一。在后续自然语言任务的处理中，不得不使用截断或者填充的方法来构造定长输入，影响任务效果。

基于现有文本表达方法的不足，本申请设计了一个无监督模型的文本表达学习网络，利用基于神经网络的自编码器生成对给定文本的定长向量表达。

发明内容