[发明专利]一种方面级情感分析的预训练语义组合细化方法

说明书

本发明公开了一种方面级情感分析的预训练语义组合细化方法，涉及人工智能中的自然语言识别处理领域。首先，提出了一种改进的预训练语义全局细化方法，使用串行的多层逐点卷积对预训练语义进行全局细化。其次，在全局语义细化中，使用门机制将输出的池化向量与分类符的输出向量相结合，以产生更具表现力的情感分类向量。再者，在语义细化层中添加了三个不同窗口尺寸的并行卷积神经网络，进行多粒度局部语义细化，从而进一步加深模型对情感句子的理解。最后，将逐点卷积层数与并行卷积神经网络的窗口尺寸设置为动态超参数，采用联动测试的方式在不同语料中分别进行设置，从而使得模型在不同的语料中都有最佳表现。

技术领域

本发明涉及自然语言识别处理领域中的情感分析，具体是一种方面级情感分析的预训练语义组合细化方法，可广泛应用于各个领域的方面级情感分析任务中。

背景技术

方面级情感分类的目的是预测方面词在句子或者文档中的极性，它是一项细粒度情感分析的任务，与传统的情感分析任务不同，它是在方面词上做情感极性分析(一般为积极、消极、中性三个分类)。方面级情感分类常用在评论人的评论句子中，如：商场购物评论、餐饮评论、电影评论等。方面级情感分类，通常在一个句子中有多个方面词及其相关的情感极性。

随着人工神经网络技术的不断发展，各种神经网络如Long Short-Term Memory(LSTM)、Deep Memory Network和Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT)预训练神经网络语言模型被应用于方面极性分类，从而为其提供端到端的分类方法，而无需任何特征工程工作。当句子中有多个目标时，方面极性分类任务需要区分不同方面的情绪。因此，与句子级情感分析中只有一个整体情感类别相比，方面极性分类任务需要更细腻的情感分析，虽然可以通过预训练神经网络语言模型BERT对评语进行深入理解，但实验表明BERT对两极化的小语料，如SemEval2015task 12与SemEval 2016task 5，有较大的改进，而在包含大量中性评论的情感模糊的场景，如ACL14任务的Tweet语料，基于BERT的性能改进却是有限的。因此，目前出现了在BERT之上增加并行多通道逐点卷积，对BERT输出的情感分析语义进一步细化。然而，多通道逐点卷积仅能进行全局语义的细化，无法进行短语级的语义抽取，而评语句中经常使用一些短语来表达方面目标的情绪，如“热情的氛围(warm vibe)”和“友好的服务(friendlyservice)”。为改进对方面级情感分析的预训练语义的细化，本发明提出一种方面级情感分析的预训练语义组合细化方法。首先，与使用并行多通道逐点卷积的现有全局细化方法不同，本发明使用串行的多层逐点卷积对BERT语义进行全局细化。更重要的是，与现有模型中仅使用细化输出的池向量作为分类向量不同，本发明使用门机制将池化向量与分类符的输出向量相结合，从而产生更具表现力的分类向量。其次，本发明提出多粒度短语抽取在方面级情感分析任务中也非常重要，并在语义细化层中添加了三个不同窗口尺寸的并行卷积神经网络(CNNs)，进行多粒度局部语义细化。

发明内容

本发明公开了一种方面级情感分析的预训练语义组合细化方法，包括以下步骤：

S1.将评语句子X与其待评测的方面目标A组成一个句子对，送入一个预训练神经网络语言模型BERT中，得到方面级情感分析的预训练语义H，然后分别将H送入步骤S2的全局语义细化模块与步骤S3的多粒度局部语义细化模块；

S2.将预训练语义H送入一个串行的多层逐点卷积层，进行逐点语义细化，得到全局语义细化的初级语义H^g，并将H^g和预训练语义H进行组合，得到组合全局细化语义然后将的平均池化向量与中分类符的隐藏状态相连接，通过一个门控机制组合成全局语义细化的输出向量Z^g，最后转步骤S4；