[发明专利]一种基于动态词向量的自动问答方法和存储介质

说明书

本发明提供了一种基于动态词向量的自动问答方法和存储介质，通过基于语义词掩码的动态词向量模型来构建动态词向量模型，以问题和相应的原文作为输入，来结合上下文语义生成更具语义信息的问题和原文的向量表示，从而可以有效应对“一词多义”问题，提高答案生成的精准度。

技术领域

本发明属于自动问答技术领域，具体是涉及到一种基于动态词向量的自动问答方法和存储介质。

背景技术

在自动问答技术领域，基于语言模型的词向量方法是通过训练好神经网络语言模型来生成词向量，该类方法的基本思想是根据原文里上下句中的词进行预测，本质上是对共现词进行特征统计的学习。基于语言模型的词向量构建模型主要分为两大类，静态模型和动态模型。由于静态词向量建模方法无法有效应对“一词多义”问题，导致其生成的词向量所蕴含的语义信息不够精确，降低了自动问答模型的性能。因此研究者们提出的动态词向量模型在自动问答技术领域的应用被予以重视

动态词向量建模方法首先基于大规模无监督语料库进行语言模型的预训练，然后在下游目标任务中采用该模型进行输入原文的编码嵌入表示。现有的基于动态词向量建模方法一为基于ELMo（Embeddings from Language Model）的方法，ELMo采用Bi-LSTM模型，即由一个前向和后向的语言模型构成，首先通过多层的LSTM来学习单词用法的复杂特征，接着将前向LSTM模型得到的特征表示和后向LSTM模型得到的特征表示进行拼接，若有多层LSTM，则会将每层得到的特征表示进行加权求和，此外权重会根据下游任务一起训练得到。由于在方法一中，LSTM应对长序列原文的能力较弱基于，动态词向量建模方法二—基于GPT（ Generative Pre-Training）模型的方法被提出。GPT采用Transformer语言模型，可以更好捕获长距离语言结构。但是GPT采用的Transformer结构是单向的，仅根据上文来预测某个词，而不能结合上下文来进行所述预测。因此，基于动态词向量建模方法三—基于BERT（Bidirectional Encoder Representation from Transformers）模型的方法应运而生，其采用基于双向Transformer的架构，并利用掩码语言模型（Masked Language Model, MLM）和句子预测（Next Sentence Prediction, NSP）两种训练任务来分别捕捉词语和句子级别的特征表示，不仅可以更高效地捕捉更长距离的依赖，而且可以捕捉双向的上下文信息。方法三由于在预训练阶段，使用了掩码操作，很容易导致预训练与精调之间不匹配的问题。研究者们在BERT的基础上提出了基于动态词向量建模方法四—RoBERTa（Robustlyoptimized BERT Pretraining approach）方法。RoBERTa相对于BERT而言，从四个方面优化了预训练方法：1）采用动态掩码代替静态掩码，即BERT在预训练时，一开始随机选择的需要掩码的Tokens将保持不变，而RoBERTa选定的需要掩码的Tokens将会随着训练的进行而改变；2）去掉了句子预测的训练任务；3）采用更大的batch进行训练；4）采用更多的训练数据和更长的训练时间。

然而，现有的方法四虽然通过优化预训练方法，提高了词向量模型的性能，但是其预训练任务是基于字掩码进行的，即随机遮掩句子中的某些字，然后通过预测被遮掩的字，来捕捉语义特征表示。这种预训练方式并不适用于构建中文的词向量模型，因为中文更注重词的语义表示，通过预测随机遮掩的字，并不能很好捕捉中文的词语层次的语义。

发明内容

有鉴于此，本发明提供了一种基于动态词向量的自动问答方法和存储介质，以解决现有技术在进行自动问答时不能很好的捕捉中文的词语层的语义而造成了答案预测的精准度不高的问题。

一种基于动态词向量的自动问答方法，包括：

步骤1：基于语义词掩码对动态词向量模型进行预训练，

步骤2：通过预训练好的所述动态词向量模型对问题和所述问题的答案所在的原文进行词向量转化，以分别将所述问题和原文转化成问题词向量和原文词向量，