[发明专利]一种基于动态词向量的自动问答方法和存储介质

权利要求书

1.一种基于动态词向量的自动问答方法，其特征在于，包括：

步骤1：基于语义词掩码对动态词向量模型进行预训练，

步骤2：通过预训练好的所述动态词向量模型对问题和所述问题的答案所在的原文进行词向量转化，以分别将所述问题和原文转化成问题词向量和原文词向量，

步骤3：将所述问题词向量和原文词向量分别输入至编码层，通过所述编码层抽取所述问题词向量和所述原文词向量的语义特征，以输出第一问题表示和第一原文表示，

步骤4：建立所述第一问题表示和第一原文表示的匹配关系，再根据所述匹配关系将所述第一问题表示和第一原文表示进行语义融合，以获得带有问题信息的第二原文表示，

步骤5：通过带有记忆功能的答案指针网络记录所述问题的信息并从所述第二原文表示中获得所述问题的答案首尾位置索引的分布概率，

步骤6：计算答案首尾位置索引的联合分布概率，选择最大的所述联合分布概率对应的首尾位置索引确定的答案作为自动问答过程中的预测答案；

所述步骤2包括：

步骤21：对所述问题和原文进行分词处理，

步骤22：在分词后的问题和原文的首尾分别加上分类符和分隔符，以获得问题输入序列和原文输入序列，

步骤23：将问题输入序列和原文输入序列中的各个元素对应的表示特征输入到预训练好的所述动态词向量模型中，以使得所述动态词向量模型结合所述原文中的上下文语境将所述问题和所述原文分别转换成所述问题词向量和所述原文词向量，

其中，所述表示特征包括词的索引，句子标记和掩码标记，所述词的索引是指其在Wordpiece分词器中的索引位置，所述句子标记是指其所在句的句子索引，当所述问题中的问题句与原文中的原文句拼接在一起时，所述问题句的句子索引为0，所述原文句的句子索引为1，所述掩码标记用来提前标记无意义所述元素，使得无意义的所述元素不参与执行所述自动问答方法的自动问答模型的训练，无意义的所述元素的值为0；

所述步骤4包括迭代对齐过程、自对齐过程和语义平滑过程：

所述迭代对齐过程包括：

步骤41：根据所述问题和所述原文之间的匹配关系，以获得第一匹配矩阵，所述第一匹配矩阵中的第i行第j列的元素表示当前时刻所述第一问题表示的第i个元素和上一时刻所述第一原文表示的第j个元素之间的相似度，

步骤42：归一化所述第一匹配矩阵中第j列元素，以获得所述问题对所述原文中的第j个元素的第一注意力分布表示，

步骤43：将所述第一问题表示和所述第一注意力分布表示做内积，以获得基于原文注意力的第二问题表示，

步骤44：将上一时刻的第一原文表示中的第j个元素和当前时刻的所述第二问题表示进行语义融合，以获得融合表示中的第j个元素，

所述自对齐过程包括：

步骤45：根据当前时刻和上一时刻的所述融合表示之间的匹配关系，以获得第二匹配矩阵，所述第二匹配矩阵中的k行第n列的元素表示当前时刻所述融合表示里的第k个元素和上一时刻所述融合表示里的第n个元素之间的关联度，若k=n，则所述第二匹配矩阵中的k行第n列的元素为0，

步骤46：归一化所述第二匹配矩阵中第n列元素，以获得当前时刻的所述融合表示对上一时刻的所述融合表示中的n个元素的第二注意力分布表示，

步骤47：将所述第一原文表示和所述第二注意力分布表示做内积，以获得基于原文注意力的注意力原文表示，

步骤48：将上一时刻的所述融合表示中的第n个元素和当前时刻的所述注意力原文表示进行语义融合，以获得注意力融合表示中的第n个元素，从而确定所述注意力融合表示，

所述语义平滑过程包括：

步骤49：将所述注意力融合表示中的各个元素通过循环神经网络进行拟合，以获得所述第二原文表示。