[发明专利]一种基于段落内部推理和联合问题答案匹配的模型方法

权利要求书

1.一种基于段落内部推理和联合问题答案匹配的模型方法，其特征在于：包括以下步骤：

S1：对于每个候选答案构建一个向量，该向量表示段落与问题和答案的交互，然后所有候选答案的向量用于选择答案，具体步骤如下：

A：输入层，段落、问题和候选答案分别对应的表达为P＝{p₁，p₂，…，p_m}，Q＝{q₁，q₂，…，q_n}和A＝{a₁，a₂，…，a_l}，其中m，n和l是对应序列P，Q和A的长度，使用GloVe向量将每个词转换为对应的词嵌入，利用三个简单有效的词汇特征EM(P，Q)，EM(Q，A)和EM(P，A)表明一个中的词是否在另一个中，其中EM(P，Q)为Q中的词是否在P中的向量表示，EM(Q，A)为Q中的词是否在A中的向量表示和EM(P，A)为A中的词是否在P中的向量表示；

B：编码层，步骤如下：

a：将词嵌入向量和完全匹配特征输入Highway Network，分别得到段落、问题和候选答案序列的表达向量其中H^P*∈R^h×m，其中H^q∈R^h×n，其中H^a∈R^h×l；

b：对段落进行k次压缩，压缩比例为{r₁，r₂，…，r_k}，对每个r_i，首先将每隔r_i个词的词嵌入相加进行压缩，段落长度变为m/r_i，然后将得到的序列输入激活函数为ReLU的单层前向神经网络；

c：将得到的k个缩放操作得到的序列拼接输入到两层激活函数为ReLU的全连接前向神经网络；

C：交互层，利用注意力机制更新问题和候选答案的表达，使问题和候选答案的表达关注与段落相关的部分，注意力向量计算；

D：层次聚合，为了捕捉段落的句子结构，在共同匹配表达上构建了一个层次LSTM，首先将段落分成句子P₁，P₂，…，P_N，其中N是段落中的句子数，对于每个{P_i，Q，A}，i∈[1，N]，通过输入、编码及交互层可以得到共同匹配表达C_i，然后在每个句子的共同匹配表达上应用两次BiLSTM层和最大池化层，以捕获共同匹配的句子级和篇章级表达；

E：输出层，对每个候选答案A_i，它最终交互表达为

S2：实验，具体步骤如下：

A：采用SemEval-2018Task 11任务的数据集MCScript，并且在RACE数据集进行预训练，MCScript数据集由Mechanical Turk的工作人员采用第一人称描述一个场景故事，旨在借用外部常识知识回答问题；

B：在PyTorch深度学习框架下实现模型，使用300维的Glove向量初始化词嵌入，且在训练期间不进行微调，k的取值为5，压缩比例r₁＝1，r₂＝2，r₃＝4，r₄＝10，r₅＝25，丢失率在0.1，0.2和0.3之间调整，优化器采用Adam，且初始学习率为0.002，批量大小为10，在MCScript数据集上进行30轮训练，在RACE数据集上10轮迭代。

2.根据权利要求1所述的一种基于段落内部推理和联合问题答案匹配的模型方法，其特征在于：所述步骤S1中编码层内的激活函数为ReLU的单层前向神经网络：

其中，W_a，b_a是需要学习的参数，且对每个r_i参数不共享，然后，再通过矩阵操作扩展到原来的序列长度m。