[发明专利]一种多粒度答案排序的多文档机器阅读理解方法

说明书

本发明公开了一种多粒度答案排序的多文档机器阅读理解方法，属于机器阅读理解应用技术领域。本方法基于预训练的深度学习模型，通过滑动窗口拆分文档为文本片段与问题拼接，通过融合统计信息、浅层语义信息、深层语义信息和答案结尾词信息的多粒度答案排序来对多个文档生成的多个候选答案进行排序，充分利用不同粒度的语义信息来捕捉问题与多个候选答案的相关性。所述方法利用基于预训练的深度学习模型提高了传统机器阅读理解模型的文本表示能力和泛化能力，同时解决了现有模型对于多文档场景的输入长度受限的缺点，同时从不同粒度建模问题和答案的相关性，提升多文档机器阅读理解的答案质量。

技术领域

本发明涉及一种多粒度答案排序的多文档机器阅读理解方法，尤其涉及一种融合统计信息、浅层语义信息、深层语义信息和答案结尾词信息的多粒度答案排序的多文档机器阅读理解方法，属于机器阅读理解应用技术领域。

背景技术

近几年，机器阅读理解(Machine Reading Comprehension，MRC)在多个机器阅读理解任务上的性能均取得了显著的提升，基于注意力机制的机器阅读理解模型被认为是机器阅读理解中最经典的方法，它首先分别对问题和文档进行数学建模，然后基于注意力机制，将问题和文档信息进行融合，在文档区间形成一个答案概率模型，然后通过找到概率最大的答案开始位置和答案结束位置，形成最优答案。然而在实际的应用场景中，常常会面临单个问题对应多个搜索引擎检索获得的文档，即需要整合多个文档的信息来预测答案。

多文档机器阅读理解引起了大家的广泛关注，多文档机器阅读理解的问题类型更为多样化，答案内容也更为丰富，主要体现在答案长度更长。而且近年来的研究主要集中在单文档机器阅读理解，相比较于单文档机器阅读理解，多文档机器阅读理解需要更好地处理问题和多个文档间的相互关系。如何利用将现有单文档机器阅读理解模型迁移到多文档机器阅读理解场景，并进一步提升多文档的信息整合能力，是值得关注的一个问题。

传统的解决多文档机器阅读理解的方法是首先利用问题和文档间的统计信息和浅层语义信息快速高效地过滤与问题不相关的文档，然后将剩余若干个文档拼接成一个文档，进而按照单文档机器阅读理解的方法对问题和合成的文档进行建模，从合成的文档中抽取出答案片段。最近，基于预训练的深度学习模型在自然语言处理的多项任务中取得了明显的性能提升。然而预训练的深度学习模型对输入长度有更严格的限制，传统的拼接多个文档的方法并不可行。在传统单文档机器阅读理解模型中，基于注意力机制的模型被认为是传统模型中最先进的方法，但是由于传统模型的缺陷是只能利用到目标任务数据集的有限数据，而基于预训练的深度学习模型可以在大规模无监督语料上进行预训练，然后在目标任务数据集上进行微调，可以有效的提升模型的表示能力和泛化能力。

发明内容

本发明的目的是为解决现有模型输入长度有限或无法融合多粒度问题与答案相关性继而导致模型表示能力和泛化能力差的技术缺陷，提出了一种多粒度答案排序的多文档机器阅读理解方法。

本发明所述的多文档机器阅读理解方法中涉及的定义如下：

定义1：文档滑动窗口：是指为了满足基于预训练的深度学习模型的输入长度限制，将文档拆分成固定长度的文本片段所使用的拆分策略；

定义2：输入文本序列：是指将问题和文档拆分后的问题-文本片段序列通过预定义符号[CLS]和[SEP]进行拼接后的序列；

其中，拼接后的序列为“[CLS]问题序列[SEP]文本片段序列[SEP]”，[CLS]是输入文本序列语义符号，[SEP]是问题序列和文本片段序列的分割符号。

定义3：单词特征向量：是指将输入文本序列向量化所使用的预训练向量，包括语义向量、位置向量以及分段向量；

其中，语义向量是指当前单词的语义特征信息，位置向量是指当前单词在文本序列的位置特征信息，分段向量是指当前单词来自于问题或者文档的分段特征信息；