[发明专利]一种机器阅读理解方法、系统、计算机及存储介质

说明书

本发明公开了一种机器阅读理解方法、系统、计算机及存储介质，方法包括：获取原始文段文本和原始问题文本的单词级信息、字符级信息以及特征信息；将获得的信息进行向量表征以及向量表征融合；进行层次注意力交互，并将各层的交互结果进行拼接；对交互后的文段表征和交互后的问题表征进行特征提取；进行多轮回答，将每轮的生成的双指针分布结果进行汇总，并计算汇总结果的随机掩码平均值，得到最终的双指针分布，分布中最大元素对应的索引即为答案在文段中的起、止位置。本发明以提出的多样性循环单元为核心模块，通过降维自注意力机制与自适应局部信息门控机制提取全局与局部信息，实现了兼顾准确率、计算/参数量的最佳机器阅读理解综合性能。

技术领域

本发明涉及自然语言处理的技术领域，尤其涉及到一种机器阅读理解方法、系统、计算机及存储介质。

背景技术

随着人工智能的高速发展，人机交互的应用场景愈加广泛，如智能客服、聊天机器人、推荐系统等。在优化用户体验的过程中，如何让机器更好地理解人类语言是人机交互技术最核心的问题。

机器阅读理解(Machine Reading Comprehension,MRC)为解决上述问题提供了技术支撑，其通过让计算机阅读文本段落并回答给定问题的任务形式，训练机器理解人类语言，并具备一定的推理能力。近年来，深度神经网络的创新突破以及大规模预训练模型的迭代更新，极大促进了MRC技术的发展，研究者们纷纷投入开发规模更大、层数更深的MRC模型，其参数量从几百兆到几亿甚至上百亿，导致计算开销与训练成本激增，而回答的准确率却趋于饱和。

如今，研究者们开始关注MRC模型的兼顾准确率与计算/参数量的综合性能，提出了各种优化方案，以实现计算/存储开销降低的同时保证准确性。其中一部分研究工作以低计算/参数开销的循环神经网络如LSTM、GRU为基础，通过优化MRC模型架构，提出新颖的计算模块或计算机制来提升模型回答的准确率；另一部分研究则针对高准确率的大规模MRC模型，采用矩阵分解、参数共享、剪枝与量化等方法降低其参数量。

但是，这些方法依然存在三个主要问题：

(1)基于LSTM、GRU的MRC模型在提取当前词的特征时，只能利用单向循环迭代的信息，无法同时兼顾上下文，造成整体模型对上下文信息的提取不够充分，进而影响回答的准确率。

(2)轻量处理后的大规模MRC模型虽然参数量减少，但依然存在大量的平方级复杂度的自注意力运算，因此实际计算开销并未降低，其训练过程难以大批量并行进行，且受到文本长度以及词向量维度的严重限制。

(3)现阶段MRC模型中使用的自注意力机制过于注重全局信息，即每个词都要与整个文段中所有词计算注意力，造成大量计算开销，而多数情况下答案的获取只需关注其所在的一段局部范围。

因此，如何解决上述问题，使MRC模型的兼顾准确率与计算/参数量的综合性能达到最优，是一项重要且具有实际意义的任务。

发明内容

本发明的目的在于克服现有技术的不足，提供一种机器阅读理解方法，以提出的多样性循环单元(Diversity Recurrent Unit,DRU)为核心，将低参数/计算量的循环神经网络与提出的低时间复杂度的降维自注意力机制相结合，对文段与问题进行特征提取，得到充分融合上下文信息的文段与问题表征，然后通过局部信息门控增强二者上下文表征中局部信息的比重，为答案获取提供关注范围，从而在低计算/参数开销的条件下提高了回答的准确率，实现MRC的综合性能最优。

为实现上述目的，本发明所提供的技术方案为：

一种机器阅读理解方法，包括以下步骤：

S1、获取原始文段文本和原始问题文本的单词级信息、字符级信息以及特征信息；