[发明专利]一种基于段落内部推理和联合问题答案匹配的模型方法

说明书

本发明公开了一种基于段落内部推理和联合问题答案匹配的阅读理解模型方法，包括以下步骤：S1：对于每个候选答案构建一个向量，该向量表示段落与问题和答案的交互，然后所有候选答案的向量用于选择答案；S2：实验，本发明提出的模型首先把段落在多个粒度下切分为块，编码器利用神经词袋表达将块内词嵌入向量求和，然后，通过两层前向神经网络建模每个单词所在不同粒度的块之间的关系构造门控函数以使模型具有更大的上下文信息同时捕获段落内部推理，本模型在正确率上相比基线神经网络模型，Stanford AR和GA Reader提高了9％‑10％，比最近的模型SurfaceLR至少提高了3％，超过TriAN的单模型1％左右，除此之外，在RACE数据集上的预训练也可以提高模型效果。

技术领域

本发明属于阅读理解技术领域，具体涉及一种基于段落内部推理和联合问题答案匹配的模型方法。

背景技术

机器阅读问答(Machine Reading for Question Answering，MRQA)研究近年来受到广泛关注，如何让机器能够阅读并且理解自然语言，是认知智能领域研究的主要问题，阅读理解任务需要在整个文档中整合和推理关于事件，实体及其关系的信息，问答通常用于评估阅读理解能力。机器阅读理解任务的主要类型有完形填空型、选择型和问答型，深度学习近年来在自然语言处理中广泛使用，在机器阅读理解领域也是如此，相比于基于传统特征的方法，在神经网络中，各种语义单元被表达为连续的语义空间上的向量，可以非常有效地解决语义稀疏性问题。

目前的阅读理解方法通常基于成对序列匹配，段落与连接问题和候选答案的序列匹配，或段落与问题匹配，然而，这些方法可能不适合问题和答案通常同样重要的选择型阅读理解，仅仅根据问题匹配段落可能没有意义，并且可能导致段落中的信息丢失，例如“Which statement of the following is true？”这样的问题，另一方面，将问题和答案连接成单个序列进行匹配可能会丢失问题和答案之间的交互信息，例如，有时答案需要问题来进行指代消解等，此外，大多数模型通常采用循环神经网络作为编码器，其逐字逐句地顺序解析文本序列，虽然有助于捕获语言学的词法和语法结构，但段落往往较长，这限制了在段落内部进行多句推理。

针对当前机器阅读理解方法中仅将问题与段落匹配会导致段落中的信息丢失或将问题和答案连接成单个序列与段落匹配会丢失问题与答案之间的交互，和传统的循环网络顺序解析文本从而忽略段落内部推理的问题，提出一种基于段落内部推理和联合问题答案匹配的模型方法。

发明内容

本发明的目的在于提供一种基于段落内部推理和联合问题答案匹配的模型方法，本模型在正确率上相比基线神经网络模型如Stanford AR和GA Reader提高了9％-10％，比最近的模型SurfaceLR至少提高了3％，超过TriAN的单模型1％左右，除此之外，在RACE数据集上的预训练也可以提高模型效果，以解决上述背景技术中提出的现有技术中的问题。

为实现上述目的，本发明采用了如下技术方案：一种基于段落内部推理和联合问题答案匹配的模型方法，包括以下步骤：

S1：对于每个候选答案构建一个向量，该向量表示段落与问题和答案的交互，然后所有候选答案的向量用于选择答案，具体步骤如下：

A：输入层，段落、问题和候选答案对应表达为P＝{p₁，p₂，L，p_m}， Q＝{q₁，q₂，L，q_n}和A＝{a₁，a₂，L，a_l}，其中m，n和l是对应序列的长度，使用GloVe 向量将每个词转换为对应的词嵌入，利用三个简单有效的词汇特征EM(P，Q)， EM(Q，A)和EM(P，A)表明一个中的词是否在另一个中；

B：编码层，步骤如下：