[发明专利]基于LSTM并结合词性及多注意力机制的句子分类方法

摘要

本发明公开了一种基于LSTM并结合词性及多注意力机制的句子分类方法，包括步骤：在输入层中将每个句子转化成两个基于连续和稠密的语义词向量矩阵和词性词向量矩阵；在共享的双向LSTM层中分别学习句子中词或词性的上下文信息，并将每一步的学习结果进行串联后输出；在自注意力层中采用自注意力机制及点乘函数分别从语义词向量序列和词性词向量序列学习句子中各个位置上的重要局部特征，得到相应的语义注意力向量和词性注意力向量，并通过KL距离对它们进行约束；在合并层中利用得到的语义注意力向量和词性注意力向量对双向LSTM层的输出序列进行加权求和，得到句子的语义表征和词性表征，并得到最终的句子语义表示；最后通过MLP输出层进行预测和分类输出。

主权项

1.一种基于LSTM并结合词性及多注意力机制的句子分类方法，其特征在于，所述方法基于如下五层神经网络模型，第一层至第五层分别为输入层、共享的双向LSTM层、自注意力层、合并层和MLP输出层，具体包括以下步骤：在输入层中对句子进行预处理后，分别利用预训练词向量表及基于均匀分布的随机初始化生成的矩阵给出句子中各个词及其词性的数学表示，从而将每个句子转化成语义词向量矩阵和词性词向量矩阵；在共享的双向LSTM层中通过两个相反方向的LSTM层分别学习句子中词或词性的上下文信息，并将每一步的学习结果串联后输出；在自注意力层中采用自注意力机制及点乘函数分别从语义词向量序列和词性词向量序列学习句子中各个位置上的重要局部特征，得到相应的语义注意力向量和词性注意力向量，并通过KL距离对它们进行约束，目的是保证它们在句子中各个位置上的分布尽可能一致；在合并层中利用自注意力层所得到的语义注意力向量和词性注意力向量对双向LSTM层的输出序列进行加权求和，得到句子的语义表征和词性表征，然后通过比较加权平均、串联、求和、求最大值多种方式得到最终的句子语义表示；最后通过包含全连接隐层和全连接的softmax层的MLP输出层进行预测和分类输出。