[发明专利]一种基于外部知识和片段选择的抽取式阅读理解方法

说明书

本发明属于自然语言处理技术与机器阅读理解领域，具体涉及一种基于外部知识和片段选择的抽取式阅读理解方法，包括获取数据并对数据进行预处理；将预处理后数据送入训练好的抽取式阅读理解模型，通过抽取式阅读理解模型输出针对数据的问题的最佳答案；抽取式阅读理解模型包括SpanBERT编码模块、外部知识融合模块以及片段选择模块；本发明采用SpanBERT模型对文本和问题进行处理，处理后判断问题是否可回答，提高了识别不可回答问题的准确率，减少错误概率，同时在SpanBERT模型中利用了融合外部知识信息的多头注意力机制，丰富了文本和问题的特征表示，使用片段选择方法处理文本中存在多个相同答案内容情况，取得更好的模型抽取效果，提升了出去答案的准确率。

技术领域

本发明属于自然语言处理技术与机器阅读理解领域，具体涉及一种基于外部知识和片段选择的抽取式阅读理解方法。

背景技术

机器阅读理解(Machine Reading Comprehension,MRC)是自然语言处理(NaturalLanguage Processing，NLP)领域的热门研究方向，利用机器对数据集中的文本内容进行理解和分析，回答提出的问题，能够最大程度地评估机器理解语言的能力。抽取式阅读理解的形式是给定文本并提出问题，模型能够根据问题从文本中找出连续的片段作为答案，这也是目前应用领域最广泛，研究方法最多的一种机器阅读理解方式。抽取式阅读理解任务中的问题一般由人工提出，答案可能存在长度上的差距，同时存在问题无答案的可能，这种任务相比机器阅读理解的其它任务类型更加贴合现实生活中的应用场景，所以提高抽取式阅读理解的抽取准确性，是把机器阅读理解技术应用到生活中的必要条件。

目前大多数抽取式阅读理解模型的网络架构由嵌入层、编码层、信息交互层和答案预测层组成。嵌入层主要是把文本和问题映射成包含相关文本信息的向量表示；编码层通常是利用神经网络对文本和问题进行编码，得到一些上下文的信息；信息交互层将文本和问题的编码信息进行融合，最后得到包含了问题信息的文本向量表示；答案预测层根据上一层的交互向量抽取出答案边界，最终得到预测答案。有学者提出通过带有注意力机制的LSTM模型进行文本和问题信息匹配，然后将融合后的向量通过LSTM编码得到新的文本表示；也有部分学长提出了双向注意力机制模型BiDAF，让文本和问题以及问题和文本进行两次注意力计算，使模型更加明确文本中哪些信息是和问题相关的；在双向注意力机制模型BiDAF的基础上，部分学者针对BiDAF模型存在的多段落信息间相关性考虑不充分的问题，提出了PR-BiDAF模型，根据文本和问题的关联匹配度进行排序来选择最有可能存在答案的段落；此外还针对BiDAF模型训练的文本内部语义信息易丢失的问题，提出了BiDAF+模型，该模型利用自注意力机制实现了对文本语义信息的更深层次建模，弥补了使用LSTM所导致的出现遗忘语义信息的缺点。

但是，以上现有技术都无法准确判断问题是否可回答，同时文本和问题的特征表示不够丰富，无法处理文本中存在多个相同答案内容的情况，从而导致抽取答案的准确性较低。

发明内容

为解决上述问题，本发明提供了一种基于外部知识和片段选择的抽取式阅读理解方法，包括获取数据并对数据进行预处理；将预处理后数据送入训练好的抽取式阅读理解模型，通过抽取式阅读理解模型输出针对数据的问题的最佳答案；抽取式阅读理解模型包括SpanBERT编码模块、外部知识融合模块以及片段选择模块；

训练抽取式阅读理解模型的过程包括以下步骤：

S1.获取原始阅读理解数据集，对原始阅读理解数据集进行预处理，得到预处理后的文本和问题；

S2.将预处理后的文本和问题输入到SpanBERT编码模块，获取文本和问题的上下文特征表示并判断预处理后的问题是否可回答，若可回答，则进入步骤S3，若不可回答，则进入步骤S5；

S3.从外部知识融合模块得到预处理后的问题相关的知识信息向量，并将知识信息向量通过哨兵机制与文本和问题的上下文特征表示融合，得到融合文本；