[发明专利]基于多层次交互注意力机制的短文本对象情感分类方法

权利要求书

1.一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，包括：

数据预处理：对短文本数据进行预处理，得到输入序列；

词嵌入处理：利用预训练的词向量，构建所述输入序列的词嵌入矩阵；

浅层注意力交互：对所述输入序列进行上下文语义编码，并利用浅层交互注意力机制获取面向对象的文本语义表示向量；

自注意力计算：将上下文语义编码结果经多个并行自注意力机制学习粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量，并根据学习得到的粗粒度类别特征进行对象类别检测；该步骤具体包括：

采用多个并行的自注意力机制学习上下文语义编码结果中文本上下文表示内隐含的粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量；

所述融入粗粒度类别特征的文本语义表示向量为：

其中，表示融入粗粒度类别特征的文本语义表示向量，H表示文本上下文表示，均表示权重参数，T表示转置操作，表示偏置参数；

采用多个并行的全连接层和sigmoid函数进行多类别标签预测，计算公式如下：

其中，w_j是权重参数，b_j是偏置参数，第j个全连接层用于预测当前输入文本中是否存在第j个类别；

深层注意力交互：采用深层交互注意力机制计算所述融入粗粒度类别特征的文本语义表示向量与所述面向对象的文本语义表示向量之间的语义关联度，得到融合粗粒度类别特征的面向细粒度对象的文本语义表示向量；

计算公式为：

其中，是融入粗粒度类别特征的文本语义表示向量，r^t是面向对象的文本语义表示向量，表示权重参数，表示偏置参数；

情感预测分类：将所述上下文语义编码结果与所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量经平均池化和串联处理，得到融合表示向量，并根据所述融合表示向量进行对象级情感预测和分类。

2.根据权利要求1所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述词嵌入处理步骤，具体包括：

获取所述输入序列中的单个文本和单个对象；

预先训练BERT词向量，分别将所述单个文本和所述单个对象匹配到所述BERT词向量上，得到文本词嵌入矩阵和对象词嵌入矩阵。

3.根据权利要求1所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述浅层注意力交互步骤，具体包括：

通过长短时记忆网络对输入序列进行上下文语义编码，得到文本上下文表示和对象上下文表示；

通过浅层交互注意力机制对文本和对象进行情感语义关联度计算，对文本进行进一步编码，得到面向对象的文本语义表示向量。

4.根据权利要求3所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述上下文语义编码的编码计算公式为：

其中，θ_BiLSTM表示BiLSTM层中的参数，concat(·,·)表示串联操作，x_i是词嵌入矩阵中第i个元素，h_i是经BiLSTM得到的隐层输出表示；

所述对文本进行进一步编码，编码计算公式为：

其中，u^a，均表示权重参数，T表示转置操作，H是文本上下文表示，H^t是对象上下文表示，e_L是单位矩阵，表示padding操作，α表示面向对象的文本注意力分布；

所述面向对象的文本语义表示向量为：

其中，均表示权重参数，h₁、h_L分别表示文本上下文表示向量中的首尾两个元素，α_l表示文本中第l个词的上下文注意力权重，h_l表示文本中第l个词的隐层输出表示，最终计算得到面向对象的文本语义表示向量r^t。