[发明专利]基于多层双向LSTM和验证模型的观点型问题阅读理解方法

说明书

本发明公开了一种基于多层双向LSTM和验证模型的观点型问题阅读理解方法，所述方法融合了抽取式模型和判别式模型的优点，在阅读理解、特征学习的基础上，加入推理建模，以得到问题和文章具有推理性的特征表示，并且在后续学习中将候选答案与正确答案的关系作为分类问题，设计了相应的Loss函数，针对部分问题在给定文章中得不到正确答案的情况，设计了验证模型，所述方法在处理观点型问题阅读理解数据集时相比现有的方法准确率更高。

技术领域

本发明涉及机器学习技术领域，尤其涉及基于多层双向LSTM和验证模型的观点型问题阅读理解方法。

背景技术

观点型问题阅读理解的特点是，给定一个问题以及一篇文章，利用文章中多个句子的信息得出正确答案，现有的技术通常是对整篇文章进行建模，利用神经网络模型从文章中提取出与给定问题相关的段落，并从中提取出候选答案，再从候选答案中得到正确答案，然而此类方法在学习过程中都存在一个重要的强假设，即在给定的文章中始终存在候选答案，这样会使得在处理主观性较强、针对没有明确答案的问题时无法得到正确答案，现有的方法使得机器在观点型问题阅读理解中回答无法推断出答案的问题时表现不好，并且会影响整个观点型问题阅读理解系统的表现，使其表现出较差的理解能力和推理能力。

发明内容

鉴以此，本发明的目的在于提供一种基于多层双向LSTM和验证模型的观点型问题阅读理解方法，以至少解决以上问题。

基于多层双向LSTM和验证模型的观点型问题阅读理解方法，所述方法包括以下步骤：

S1、对文章及问题中的句子进行预处理，所述预处理包括分词、词性标注、命名实体识别，将单词映射成词表当中对应的词向量，并与词性及命名实体类型的特征向量拼接在一起，形成文章和问题的初始特征向量表示；

S2、将文章与问题的初始特征向量表示分别通过第一层BiLSTM进行处理，得到文章和问题的浅层特征表示；

S3、将文章与问题的浅层特征表示进行推理建模，得到文章和问题具有推理关系的浅层特征表示，将文章和问题具有推理关系的浅层特征表示通过第二层BiLSTM进行处理，得到文章和问题具有相关性的深层特征表示；

S4、对问题中各单词的表示进行加权组合，形成一个与问题长度无关的向量，通过向量与文章的向量表示做内积，抽取出文章中能够用于回答问题的信息片段，再次通过注意力机制，对信息片段进行加权组合，形成一个与文章长度无关的向量，作为解码器的初始隐状态输入；

S5、使用一个单向LSTM作为解码器，并以文章的最终特征向量表示作为其输入序列，按照序列到序列的方式逐个单词地生成对应的候选答案；

S6、将能否从文章中获取到合理的候选答案的问题建模成二分类模型，通过二分类模型对得到的候选答案的合理性进行验证；

S7、根据候选答案合理性对生成的答案文本进行处理，输出正确答案。

进一步的，步骤S3中，推理建模具体包括：假设得到的浅层特征表示对为<p_i,q_j>，计算特征表示对的点积作为注意力权重，对注意力权重进行归一化获得伴随向量，如公式(1)、(2)所示，

其中，p_i为文章的伴随向量，q_j为问题的伴随向量，l_p为文章的伴随向量长度，l_q为问题的伴随向量长度，a_ij为<p_i,q_j>的注意力权重，随后通过BiLSTM进行建模，得到具有推理性的文章特征表示和具有推理性的问题特征表示