[发明专利]基于多层次交互注意力机制的短文本对象情感分类方法

说明书

本发明公开了一种基于多层次交互注意力机制的短文本对象情感分类方法，该方法包括数据预处理、词嵌入处理、浅层注意力交互、自注意力计算、深层注意力交互以及情感预测分类等步骤。该方法在文本内部特征的学习和利用上，设计了多层交互注意力机制，注意力机制能够筛选对分类有效的上下文信息，有利于对文本内部潜在的多种特征进行选择性学习，多交互方式则有利于多特征的融合，后续得到的情感预测和分类结果更加精确、可靠。

技术领域

本发明涉及文本情感分类技术领域，更具体的说是涉及一种基于多层次交互注意力机制的短文本对象情感分类方法。

背景技术

目前，随着WEB2.0时代的到来，互联网中涌现出大量带有用户主观情感的、内容短小且语义信息丰富的短文本，这些海量数据是用户意识和观点的综合呈现和重要体现。目前对象级情感分类方法分为基于统计和规则的传统方法和深度学习方法，传统方法是通过手工构建特征工程提取文本特征，再结合机器学习分类器进行情感分类，深度学习方法则是基于深度神经网络自动学习文本内部情感语义特征进行情感分类。国内对象级文本情感分类的研究大多采用深度学习方法，且已经得到广泛应用。

对象级情感分类较粗粒度的篇章级或句子级情感分类，能提供更细致和全面的情感信息。例如，给定一个评论句“餐厅的三文鱼很美味，但服务员很不友好。”，句中对于两个对象“三文鱼”和“服务员”表达的情感倾向分别为积极和消极，对象级情感分类的关键是获取高效的面向对象的文本情感语义表示。大多数深度学习方法基于递归神经网络和注意力机制，采用单任务学习网络结构，但该类方法学习得到的文本内部特征十分有限，且较为单一；另外，单交互的特征学习方式不够精确、深刻，导致情感分类效果并不理想。

因此，如何提供一种更加精确、可靠的短文本对象情感分类方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于多层次交互注意力机制的短文本对象情感分类方法，有效解决了现有的对象级情感分类方法在深度学习阶段学习得到的文本内部特征十分有限且较为单一，单交互的特征学习方式不够精确、深刻的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于多层次交互注意力机制的短文本对象情感分类方法，该方法包括以下步骤：

数据预处理：对短文本数据进行预处理，得到输入序列；

词嵌入处理：利用预训练的词向量，构建所述输入序列的词嵌入矩阵；

浅层注意力交互：对所述输入序列进行上下文语义编码，并利用浅层交互注意力机制获取面向对象的文本语义表示向量；

自注意力计算：将上下文语义编码结果经多个并行自注意力机制学习粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量，并根据学习得到的粗粒度类别特征进行对象类别检测；

深层注意力交互：采用深层交互注意力机制计算所述融入粗粒度类别特征的文本语义表示向量与所述面向对象的文本语义表示向量之间的语义关联度，得到融合粗粒度类别特征的面向细粒度对象的文本语义表示向量；

情感预测分类：将所述上下文编码结果与所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量经平均池化和串联处理，得到融合表示向量，并根据所述融合表示向量进行对象级情感预测和分类。

进一步地，所述词嵌入处理步骤，具体包括：

获取所述输入序列中的单个文本和单个对象；

预先训练BERT词向量，分别将所述单个文本和所述单个对象匹配到所述BERT词向量上，得到文本词嵌入矩阵和对象词嵌入矩阵。

进一步地，所述浅层注意力交互步骤，具体包括：