[发明专利]一种结合注意力机制的深度学习多分类情感分析模型

说明书

本发明涉及一种结合注意力机制的深度学习多分类情感分析模型，属于自然语言处理技术领域，本发明分析了现有CNN网络和LSTM网络在文本情感分析方面的弱点，提出了一种结合注意力机制的深度学习多分类情感分析模型。该模型运用注意力机制将CNN网络提取的局部特征和LSTM模型提取的语序特征相融合，并在分类层采用集成模型的思想，分别将CNN网络和LSTM网络提取的情感特征拼接，作为模型最终提取的情感特征。通过对比实验，发现该模型的准确率有了显著的提高。

技术领域

本发明属于文本信息处理领域，涉及一种结合注意力机制的深度学习多分类情感分析模型。

背景技术

随着微博、Twitter等社交网络的不断兴起，互联网已不仅仅是人们获取日常信息的来源，同时也成为人们表达自己观点不可或缺的平台。人们在网络社区评论热点事件、抒写影评观点以及描述产品体验等，都会产生大量的带有情感色彩(如：喜怒哀乐等)的文本信息，而对这些文本信息进行有效的情感分析，可以更好地了解用户的兴趣倾向和关注程度。但随着人们对网络信息关注度的增加，网络社区每天都有海量的带有情感色彩的文本产生，如果仅仅依靠人工标记，已经远远无法完成这一任务，这就使得文本情感分析成为自然语言处理领域的一个研究热点。

随着深度学习方法在计算机视觉方向的成功应用，越来越多的深度学习技术也被应用于自然语言处理方向。深度学习的优势在于，不仅可以自动提取文本的特征，而且对大数据有较强的表达能力。目前主流的基于深度学习的文本情感分析方法主要包括卷积神经网络(Convolutional Neural Network，CNN)和循环神经网络(Recurrent NeuralNetwork，RNN)两种，基于这两种方法的情感分析模型的准确率都较低，主要有以下几个方面的原因：

首先，在文本的情感分析过程中，卷积神经网络通过扩大卷积核尺寸，有效地捕捉到不同位置的情感信息，进而获取到文本的局部情感特征。但卷积的过程中，往往忽略了文本中语序间的前后关系。但在文本情感分析过程中，语序的先后关系又十分重要，没有语序的特征信息必导致结果有一定的偏差。

其次，循环神经网络网络利用前后依赖关系，有效模拟文本数据的先后顺序，能够提取到文本的语序关系和语义信息，因此在文本的情感分析中能达到很好的效果。但当样本数据较长或者语言场景较复杂时，有用的情感信息的间隔有大有小，长短不一，长短记忆网络(Long Short-Term Memory，LSTM)的性能也因此受到限制。

本发明充分利用了注意力机制、CNN网络、LSTM网络，提出并实现了一种结合注意力机制的深度学习多分类情感分析模型。此模型能够有效的提高文本情感分析的准确率。

发明内容

本发明提出了一种基于注意力机制的深度学习多分类情感分析模型。该模型结合CNN网络和LSTM网络进行情感特征融合。首先利用CNN网络的多尺度卷积核提取出待分析文本的局部特征，然后利用注意力机制，将CNN网络提取的局部特征融入到LSTM网络中。最后利用集成模型的思想，将CNN网络的池化层结果和LSTM网络的特征提取结果进行拼接，作为最终的模型输出。实验表明，在文本情感分析中，该模型的准确率有了显著的提高。

为实现上述目的，本发明采用如下的技术方案：

1.一种结合注意力机制的深度学习多分类情感分析方法，其特征在于包括以下步骤：

步骤(1)数据预处理

设情感数据集表示为：G＝[(segtxt₁,y₁),(segtxt₂,y₂),......,(segtxt_N,y_N)]，其中，segtxt_i表示第i个样本，y_i则为对应的情感类别标签，N表示数据集G中样本个数，对G中样本进行数据预处理，