[发明专利]一种基于深度学习的抽取式机器阅读理解模型的建立方法

说明书

本发明提供一种基于深度学习的抽取式机器阅读理解模型的建立方法，该方法使用卷积代替了广泛应用在机器阅读理解的LSTM、GRU等RNN的变种，不同于RNN当前时刻的计算依赖上一时刻，卷积是可以并行计算的，这使得模型不论训练还是推理速度都优于使用RNN变种的模型；在使用注意力机制捕捉关键信息时，使用到了多头注意力机制，使得对于文章这样的长文本能够捕捉所有相关的信息，进一步提升模型的准确率。

技术领域

本发明涉及自然语言处理技术领域，更具体地，涉及一种基于深度学习的抽取式机器阅读理解模型的建立方法。

背景技术

自然语言处理是将人类自然语言转化为机器语言从而达到人机交互的一门技术。机器阅读理解是自然语言处理的核心任务之一，也是研究的热点之一，它对于搜索引擎、智能客服等都有直接的应用价值。阅读理解作为应试的常见题型，它需要应试者通过阅读原文和问题，然后综合原文和问题进行理解和推理，进而得到答案。这能够有效考察应试者理解文本的水平。而机器阅读理解与此类似，形式都是根据文章去提出一些问题，然后机器对问题进行作答。从答案类型的角度进行划分，可以分为选择题、问答题、完形填空等等。目前针对不同类型的题目都有相应的数据集陆陆续续地推出，推动着机器阅读理解的发展。比如针对问答题，就有SQuAD、MS MARCO数据集，但两个数据集设计有所不同。微软研究院发布的MS MARCO数据集要求对文本语义先进行归纳整合，再去生成具有自然语言形式的答案，所以针对此数据集的模型属于生成式模型。而斯坦福大学发布的SQuAD数据集将问题的标准答案设置为原文的一个片段，所以针对该数据集的模型属于抽取式模型，这类模型从原文中抽取一个片段作为答案。具体的抽取方法就是输出两个数字代表答案短语第一个单词和最后一个单词在原文的位置。

近年来深度学习的不断发展，使得LSTM、GRU等RNN的变种被广泛应用到机器阅读理解的任务中，结合注意力机制取得了不错的性能效果。但也正因为LSTM等RNN变种网络结构的使用，使得这些机器阅读理解模型的推理速度和训练速度都较慢。并且以往的模型大多在对文章进行注意力操作时仅进行一次，这对于长文本的文章来说可能无法捕捉到所有相关的信息，可能会漏掉一些关键信息。

发明内容

本发明提供一种基于深度学习的抽取式机器阅读理解模型的建立方法，利用该方法建立的模型可提升阅读理解的效率，并且保证较高的准确率。

为了达到上述技术效果，本发明的技术方案如下：

一种基于深度学习的抽取式机器阅读理解模型的建立方法，包括以下步骤：

S1：对文章和问题的句子进行分词；

S2：为每个文章词设置一个精准匹配特征，表示该文章词是否出现在问题中，如果出现则该特征置为1，否则置为0；

S3：把单词映射成词表当中对应的词向量，得到每个单词词级别的表示；

S4：把单词的每个字母映射成字符表当中对应的字符向量，输入到卷积神经网络训练得到固定大小的向量，得到每个单词字符级别的表示；

S5：将文章和问题的每个单词对应的词级别和字符级别的表示拼接在一起，分别输入到两层highway networks中，输出即为文章词和问题词的特征向量表示；

S6：将文章和问题的词向量表示分别通过多层卷积进行处理，从而融合每个词周围的上下文信息去调整每个词的表示；

S7：将S6得到的文章和问题的词向量表示通过文章-问题注意力机制，得到每个文章词对应相关的问题词表示；

S8：将S6得到的文章和问题的词向量表示通过问题-文章多头注意力机制，得到每个问题词对应相关的文章词表示；