[发明专利]一种基于深度学习的开放域问答预测方法

权利要求书

1.一种基于深度学习的开放域问答预测方法，其特征在于，该方法包括以下步骤：

S1：获取维基百科训练语料并对其建立索引；

S2：根据问题通过检索获得相关性最高的多篇文章，并切分成段落，最终输出多个得分最高的段落；

S3：使用SQuAD数据集训练一个机器阅读理解模型；

S4：以多个得分最高的段落以及问题作为输入，通过机器阅读理解模型预测答案在段落中的起始位置和结束位置。

2.根据权利要求1所述的一种基于深度学习的开放域问答预测方法，其特征在于，所述的步骤S1具体包括以下步骤：

S11：获取维基百科语料作为知识库；

S12：对维基百科语料进行分词预处理；

S13：对维基百科文章建立索引。

3.根据权利要求1所述的一种基于深度学习的开放域问答预测方法，其特征在于，所述的步骤S2中，根据问题从维基百科的文章中检索获得相关性最高的5篇文章。

4.根据权利要求1所述的一种基于深度学习的开放域问答预测方法，其特征在于，所述的步骤S2具体包括以下步骤：

S21：对问题进行预处理，得到问题的bag-of-words信息；

S22：通过TF-IDF算法在建完索引的数据库中检索出相关性最高的5篇文章。

5.根据权利要求1所述的一种基于深度学习的开放域问答预测方法，其特征在于，所述的步骤S3具体包括以下步骤：

S31：段落编码：首次将段落p中的每一个段落token p_i表示为一个特征向量并且其作为多层LSTM网络的输入，则有：

其中，下标m为段落token的总数；

S32：问题编码：以问题的每一个问题token q_i的词向量作为另一个LSTM网络输入，并且将隐藏单元拼接成一个向量{q₁，...，q_l}→q，通过q＝∑_jb_jq_j计算得到问题的编码，其中，b_j为问题中第j个词的重要程度。

6.根据权利要求5所述的一种基于深度学习的开放域问答预测方法，其特征在于，所述的步骤S32中，问题中第j个词的重要程度b_j的计算式为：

其中，w为要学习的权重，q_j、q_j′分别为问题中第j和j′个词。

7.根据权利要求1所述的一种基于深度学习的开放域问答预测方法，其特征在于，所述的步骤S4中，以段落向量{P₁，...，P_m}和问题向量q作为输入，分别训练两个分类器来预测答案的开始和结束位置。

8.根据权利要求7所述的一种基于深度学习的开放域问答预测方法，其特征在于，所述的步骤S4中，在训练阶段，采用双线性函数计算每个token作为开始和结束位置的概率，则有：

P_siart(i)∝exp(p_iW_sq)

P_end(i)∝exp(p_iW_eq)

其中，P_start(i)为第i个段落token p_i作为开始位置的概率，P_end(i)为第i个段落tokenp_i作为结束位置的概率，W_s和W_e分别为答案片段开始和结束位置的可学习的参数矩阵。