[发明专利]基于多层双向LSTM和验证模型的观点型问题阅读理解方法

权利要求书

1.基于多层双向LSTM和验证模型的观点型问题阅读理解方法，其特征在于，所述方法包括以下步骤：

S1、对文章及问题中的句子进行预处理，所述预处理包括分词、词性标注、命名实体识别，将单词映射成词表当中对应的词向量，并与词性及命名实体类型的特征向量拼接在一起，形成文章和问题的初始特征向量表示；

S2、将文章与问题的初始特征向量表示分别通过第一层BiLSTM进行处理，得到文章和问题的浅层特征表示；

S3、将文章与问题的浅层特征表示进行推理建模，得到文章和问题具有推理关系的浅层特征表示，将文章和问题具有推理关系的浅层特征表示通过第二层BiLSTM进行处理，得到文章和问题具有相关性的深层特征表示；

S4、对问题中各单词的表示进行加权组合，形成问题的最终特征表示向量通过向量与文章的向量表示做内积，抽取出文章中能够用于回答问题的信息片段，再次通过注意力机制，对信息片段进行加权组合，形成文章的最终特征表示向量作为解码器的初始隐状态输入，对观点型问题的答案分为是、否、无法判断三个类别，在做内积抽取信息片段时，将三分类问题与信息片段作为联合任务进行建模，所述建模包括：将问题的最终特征表示和文章的最终特征表示进行串联，得到新特征表示s_joint；将s_joint输入到判别模型中，得到正确答案所属分类的概率，所述判别模型的DisQA Loss函数如公式(3)和(4)所示，

p(y|s_jonit)＝softmax((w_ss_joint+b)w_y) (3)

其中，y为表示三个类别的向量，w_s为特征的权重，w_y为类别的权重，b为偏置量；

S5、使用一个单向LSTM作为解码器，并以文章的最终特征向量表示作为其输入序列，按照序列到序列的方式逐个单词地生成对应的候选答案；

S6、将能否从文章中获取到合理的候选答案的问题建模成二分类模型，通过二分类模型对得到的候选答案的合理性进行验证，具体包括以下步骤：将问题的最终特征表示和文章的最终特征表示进行串联，得到新特征表示s_joint；将s_joint输入到二分类验证模型中，通过将s_joint与权重做内积，得到s_joint的二维向量表示，从而得到所属类别的概率，所述二分类验证模型的VerQA Loss函数如公式(5)所示，

其中，m为训练样本个数，n为参数大小，θ为函数中的参数，λ是正则项系数；

S7、根据候选答案合理性对生成的答案文本进行处理，输出正确答案。

2.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法，其特征在于，步骤S3中，推理建模具体包括：假设得到的浅层特征表示对为<p_i,q_j>，计算特征表示对的点积作为注意力权重，对注意力权重进行归一化获得伴随向量，如公式(1)、(2)所示，

其中，p_i为文章的伴随向量，q_j为问题的伴随向量，l_p为文章的伴随向量长度，l_q为问题的伴随向量长度，a_ij为<p_i,q_j>的注意力权重，随后通过BiLSTM进行建模，得到具有推理性的文章特征表示和具有推理性的问题特征表示

3.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法，其特征在于，将步骤S6中得到的二维向量表示通过logistic regression函数进行处理得到一个概率分布，对概率分布进行优化。

4.根据权利要求1所述的基于多层双向LSTM和验证模型的观点型问题阅读理解方法，其特征在于，将问题的注意力加权组合向量与文章的最终向量表示做内积，其结果通过softmax函数转化为概率分布，对概率分布进行优化。