[发明专利]一种基于外部知识和片段选择的抽取式阅读理解方法

权利要求书

1.一种基于外部知识和片段选择的抽取式阅读理解方法，其特征在于，包括获取数据并对数据进行预处理；将预处理后数据送入训练好的抽取式阅读理解模型，通过抽取式阅读理解模型输出针对数据的问题的最佳答案；抽取式阅读理解模型包括SpanBERT编码模块、外部知识融合模块以及片段选择模块；

训练抽取式阅读理解模型的过程包括以下步骤：

S1.获取原始阅读理解数据集，对原始阅读理解数据集进行预处理，得到预处理后的文本和问题；

S2.将预处理后的文本和问题输入到SpanBERT编码模块，获取文本和问题的上下文特征表示并判断预处理后的问题是否可回答，若可回答，则进入步骤S3；

S3.从外部知识融合模块得到预处理后的问题相关的知识信息向量，并将知识信息向量通过哨兵机制与文本和问题的上下文特征表示融合，得到融合文本；

S4.根据融合文本，采用全连接操作获取预处理后的问题的答案，若存在多个答案相同的片段，则启用片段选择模块得到抽取结果；设置迭代次数初始值；

S5.采用交叉熵损失函数对抽取结果计算损失值，根据损失值计算抽取式阅读理解模型的优化结果并反向传播，调整抽取式阅读理解模型的参数；

S6.设置最大迭代次数，判断迭代次数是否达到最大迭代次数，若达到，则完成抽取式阅读理解模型的训练，否则返回步骤S5，且迭代次数加1。

2.根据权利要求1所述的一种基于外部知识和片段选择的抽取式阅读理解方法，其特征在于，对原始阅读理解数据集进行预处理包括：

S11.设定文本长度阈值，判断每个文本的长度是否超过文本长度阈值；

S12.若超过文本长度阈值，则计算文本中的每个句子和问题的相似度；

S13.相似度计算完成后按降序排列，留下和问题最相关的TOP K个句子；

其中相似度计算公式为：

S_qp表示问题和文本句的相似度得分，cos(θ)表示余弦相似度计算，Q_i表示问题句中的第i个单词，P_i表示文本句中的第i个单词，n表示文本的最大长度。

3.根据权利要求1所述的一种基于外部知识和片段选择的抽取式阅读理解方法，其特征在于，获取文本和问题的上下文特征表示并判断预处理后的问题是否可回答的过程为：

S21.将预处理后的的文本和问题进行组合，组合后的格式为：

W(P,Q)＝[CLS],P₁,…,P_n,[SEP],Q₁,…,Q_m,[SEP_end]；

S22.对组合后的文本和问题添加位置信息，得到词嵌入表示序列并输入SpanBERT编码模块，词嵌入表示序列的计算公式为：

S23.采用融合外部知识的多头自注意力机制处理词嵌入表示序列，得到包含句子语义的向量序列；

S24.将包含句子语义的向量序列经过多层Transformer编码器提取特征向量；

S25.将特征向量中的第一个标记[CLS]作为分类任务中该向量的总表示，根据[CLS]判断问题是否可回答，若[CLS]＝[0]，则不可回答，若[CLS]＝[1]，则可回答；

其中，P＝(P₁,…,P_i,…,P_n)表示文本句，Q＝(Q₁,…Q_j,…,Q_m)表示问题句，P_i表示文本句中的第i个单词，Q_j表示问题句中的第j个单词，[CLS]表示分类标志，[SEP]表示分隔标志，[SEP_end]表示结尾标志，为词嵌入表示序列中第i个词的词嵌入，为词嵌入表示序列中第i个词的位置嵌入。