[发明专利]一种利用目标知识增强模型的情感分类方法

权利要求书

1.一种利用目标知识增强模型的情感分类方法，其特征在于，包括以下步骤：

构建目标知识增强模型，所述目标知识增强模型包括输入层、嵌入层、多头自注意力层、知识注意力层、隐藏层和输出层；

根据待预测的上下文中的目标词，获取每个所述目标词对应的知识句子；

将所述上下文与每个所述知识句子输入至所述输入层中，对所述上下文和所述知识句子进行拼接，得到输入层的输出序列；

将所述输入层的输出序列输入至所述嵌入层中，将每个单词或标记映射到向量空间，得到上下文的输出向量表示和知识句子的输出向量表示；

将所述上下文的输出向量表示和所述知识句子的输出向量表示输入至所述多头自注意力层中，计算所述上下文和所述知识句子中每个单词的注意力分数，得到上下文的多头输出序列和知识句子的多头输出序列，以及，得到所述上下文中每个字的权重；其中，根据如下公式，计算每个自注意力头中字与字之间的权重：

其中，为每个自注意力头中字与字之间的权重，Q，K，V为上下文句子中每个字的三种不同向量化表示；

将所述上下文中每个字的权重以及所述知识句子的多头输出序列输入至所述知识注意力层中，得到加权后的所述知识句子的多头输出序列，并拼接所述上下文的多头输出序列和所述加权后的所述知识句子的多头输出序列，输出知识注意力层的输出序列；其中，根据如下公式，计算加权后的知识句子的多头输出序列；

W_character＝Sum(W^C)

其中，W^C表示字与字之间的权重，W_character表示字相对于上下文句子的权重，L₀表示目标词的第一个字的位置；当目标词为复合词时，L_i表示第i个子目标词的最后一个字的位置；表示第i个字目标词相对于上下文句子的权重，即表示知识注意力权重；表示加权后的所述知识句子的多头输出序列，O_KA表示知识注意力层的输出序列；

将所述知识注意力层的输出序列输入至所述隐藏层中，提取所述知识注意力层的输出序列的隐藏状态向量，得到隐藏层的输出序列；

将所述隐藏层的输出序列输入至所述输出层中，得到所述上下文的分类结果。

2.根据权利要求1所述的一种利用目标知识增强模型的情感分类方法，其特征在于，所述隐藏层为隐藏注意力层，所述提取所述知识注意力层的输出序列的隐藏状态向量，包括：

基于隐藏注意机制计算所述知识注意力层的输出序列的每个字的隐藏状态向量的加权和。

3.根据权利要求1所述的一种利用目标知识增强模型的情感分类方法，其特征在于，所述根据待预测的上下文中的目标词，获取每个所述目标词对应的知识句子，包括：

从数据库获取每个所述目标词对应的实体知识句子；

其中，当目标词是复合词时，将复合词分成多个子目标词，获取每个子目标词的实体知识句子；

对所述实体知识句子进行数据预处理，删除噪音数据，获得待检测上下文的知识句子。

4.根据权利要求3所述的一种利用目标知识增强模型的情感分类方法，其特征在于，对所述实体知识句子进行数据预处理，删除噪音数据，包括：

对句子长度超过第一阈值的所述实体知识进行切割，对超过第一阈值长度以后的内容进行删除；

对实体知识句子中出现的英文字母及无意义字符进行删除。

5.根据权利要求1所述的一种利用目标知识增强模型的情感分类方法，其特征在于：

所述嵌入层为多层双向变压器编码器，包含多个变压器组和多个自我注意头；所述嵌入层用于将每个单词或标记映射到一个向量空间。

6.根据权利要求1所述的一种利用目标知识增强模型的情感分类方法，其特征在于，将所述隐藏层的输出序列输入至所述输出层中，得到所述上下文的分类结果，包括：

使用softmax函数处理所述隐藏层的输出序列，得到所述上下文的情绪极性预测结果。