[发明专利]基于多注意力机制的问题分类方法、系统及存储介质

权利要求书

1.一种基于多注意力机制的问题分类方法，其特征在于，所述问题分类方法包括：

获取待分类的文本Q＝{q₁，...，q_n}，其中，q₁，...，q_n为所述文本Q中的词语；

采用word2vec模型将所述文本Q转化为对应的词向量序列X＝{x₁，...x_i，...，x_n}，其中，x_i为词向量序列X中的第i个向量，且1≤i≤n，n为所述词向量序列X中向量的数量；

根据所述词向量序列X形成基于疑问词注意力机制的词向量矩阵；

采用预设的标注集对所述文本Q进行词性标注并编码以形成词性向量序列

采用公式(1)分别计算所述词向量序列X中的每个向量x_i的系数，

其中，为向量x_i的系数，为所述词性向量序列X^p的第i个向量，W_p为对应的自注意力机制的参数矩阵，b_p为对应的自注意力机制的线性偏差；

采用公式(2)对每个所述系数进行标准化处理，

其中，为经过标准化处理后的向量x_i的系数，n为所述词向量序列X中的向量的数量；

采用公式(3)确定基于词性注意力机制的词向量矩阵，

其中，为基于词性注意力机制的词向量矩阵的第i个向量；

采用卷积神经网络根据基于所述疑问词注意力机制得到的词向量矩阵和所述词性注意力机制得到的词向量矩阵形成用于表示所述文本的局部特征的组合矩阵；

采用LSTM神经网络将所述组合矩阵转化为具有时序特征的特征矩阵；

采用公式(4)确定所述特征矩阵中每个向量的系数，

a_t＝σ(W_LTh_t+b_LT)， (4)

其中，a_t为所述特征矩阵中向量h_t的系数，向量h_t为所述LSTM神经网络的输出，W_LT为对应的自注意力机制的参数矩阵，b_LT为对应的自注意力机制的线性偏差；

采用公式(5)对每个所述系数a_t进行标准化处理以得到所述特征矩阵中每个向量的权重，

其中，A为所述特征矩阵的权重，a_t为所述特征矩阵中的第t个向量的系数；

采用公式(6)确定所述文本的特征向量，

T＝AH， (6)

其中，T为所述特征向量，H为所述特征矩阵；

将所述特征向量输入分类器中以得到所述文本的类别；

所述根据所述词向量序列X形成基于疑问词注意力机制的词向量矩阵包括：

提取所述词向量序列X中的表示疑问词的疑问词向量x^e；

采用公式(7)分别对所述疑问词向量x^e和所述词向量序列X中的每个向量x_i进行内积运算以得到所述疑问词向量x^e对每个所述向量x_i的系数，

其中，为向量x_i的系数，x^e为所述疑问词向量，innerproduct为所述内积运算；

采用公式(8)对系数进行标准化处理，

其中，为经过标准化处理后的向量x_i的系数；

所述采用卷积神经网络根据基于所述疑问词注意力机制得到的词向量矩阵和所述词性注意力机制得到的词向量矩阵形成用于表示所述文本的局部特征的组合矩阵包括：

分别从基于疑问词注意力机制得到的词向量矩阵和基于词性注意力机制得到的词向量矩阵中选取出对应的滑动窗口矩阵，对选取出的滑动窗口矩阵进行卷积计算以得到第一组合矩阵和第二组合矩阵，其中所述第一组合矩阵和所述第二组合矩阵均包括多个向量，每个向量包括多个元素；

将所述第一组合矩阵和所述第二组合矩阵按照每个元素在对应的向量中的次序进行重排以形成所述组合矩阵；

所述分别从基于疑问词注意力机制得到的词向量矩阵和基于词性注意力机制得到的词向量矩阵中选取出对应的滑动窗口矩阵，对选取出的滑动窗口矩阵进行卷积计算以得到第一组合矩阵和第二组合矩阵包括：

根据公式(9)和公式(10)进行所述卷积计算，

其中，和为所述第一组合矩阵和所述第二组合矩阵中的元素，和为所述滑动窗口矩阵，w^e和w^p为对应的卷积神经网络的参数矩阵，b^e、b^p为对应的卷积神经网络的线性偏差，f为卷积神经网络的激活函数；

所述将所述第一组合矩阵和所述第二组合矩阵按照每个元素在对应的向量中的次序进行重排以形成所述组合矩阵包括：

根据公式(11)进行所述重排，

其中，为第一组合矩阵和第二组合矩阵中每个向量的第i个元素组成的新的向量，为所述第一组合矩阵中的向量，为所述第二组合矩阵中的向量。