[发明专利]一种机器阅读理解的实现方法、系统、设备及介质

说明书

本发明涉及人工智能技术领域，提供一种机器阅读理解的实现方法、系统、设备及介质，包括：获取待识别文本，所述待识别文本包括文章、标题和问题；依次提取文章、标题和问题的表征向量；通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量，将所述问题表征向量输入预训练的分类器中，判断文章中是否存在答案；若存在答案，则通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量；将所述文章表征向量输入预训练的指针网络中，得到对应的答案。本发明利用注意力流的调整来控制文本答案的选取只和问题有关，而和标题的问句无关，极大地提高了机器阅读理解的识别精度，具有重要意义。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种机器阅读理解的实现方法、系统、设备及介质。

背景技术

机器阅读理解任务是指给定一篇文本，该文本包括文章和标题，再给出一个和文章相关的问题，让机器自动从文章中找到对应的答案。目前主流的机器阅读理解做法，是用文本预训练模型对问题、标题和文章进行编码与特征抽取，然后利用指针网络进行答案的选取，这种做法存在以下不足：

1、一般来说，在机器阅读理解任务中，标题通常都是一个问句，这样文本输入的时候就会有两个问题句(标题+问题)同时输入，而且这两个问句经常极度相似；当训练样本数过少，且没有明显的监督信号要求模型对应答案的选取是依据问题的时候，阅读理解模型会非常地困惑，导致做出错误的推理；而如果去掉标题，又会导致模型丢失很多文本信息。

2、缺乏语义理解能力，当一些概念被换成另外一种描述的时候，阅读理解模型理解不到两者含义的不变性，也会导致做出错误的推理。

3、当训练样本数有限的时候，阅读理解模型通常表现都不佳。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种机器阅读理解的实现方法、系统、设备及介质，用于解决现有的指针网络根据问题，对包含文章和标题的文本进行答案选取时，效果不佳的问题。

本发明的第一方面提供一种机器阅读理解的实现方法，包括：

获取待识别文本，所述待识别文本包括文章、标题和问题；

依次提取文章、标题和问题的表征向量；

通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量，将所述问题表征向量输入预训练的分类器中，判断文章中是否存在答案；

若存在答案，则通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量；

将所述文章表征向量输入预训练的指针网络中，得到对应的答案。

于本发明的一实施例中，所述依次提取文章、标题和问题的表征向量的步骤包括：

将文章、标题和问题以文本形式分别输入Roberta模型中，提取Roberta模型的输出作为文章、标题和问题的表征向量。

于本发明的一实施例中，所述通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量的步骤包括：

利用标题和问题之间的注意力机制，分别为标题和问题的表征向量分配注意力权重，生成第一注意力矩阵和第二注意力矩阵；

根据标题和问题的表征向量、第一注意力矩阵和第二注意力矩阵，得到标题和问题的加权向量；

拼接问题的表征向量、标题和问题的加权向量，得到问题表征向量。

于本发明的一实施例中，所述通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量的步骤包括：

利用文章和问题之间的注意力机制，分别为文章和问题的表征向量分配注意力权重，生成第三注意力矩阵和第四注意力矩阵；