[发明专利]一种基于卷积神经网络和注意力机制的反讽识别模型

说明书

本发明属于自然语言处理领域，涉及一种基于卷积神经网络和注意力机制的反讽识别模型。包括：S1.文本表示层；S2.语义特征提取层；S3.反讽语义关系建模层；S4.反讽意图判别层。有益效果：本发明能够识别出社交媒体中潜在的反讽表达，挖掘出用户的真实情感倾向，该模型弥补了传统序列模型的不足，实现了句子内部序列之间情感语义关系的建模，同时相比于现有的基于词对矛盾的反讽识别方法，该模型更容易捕捉到反讽效果产生的语义矛盾信息，提高了反讽识别任务的准确性，通过卷积操作隐式地将句子分割成短语片段来提取更高层次的语义特征；可以更准确的捕捉句子短语片段之间的语义不一致性信息。

技术领域

本发明属于自然语言处理领域，涉及一种基于卷积神经网络和注意力机制的反讽识别模型。

背景技术

反讽作为人类社会生活中一种常见的比喻性语言，在表达时由于其强烈而独特的语言效果，受到了社交媒体用户的广泛喜爱，但是由于反讽修辞在情感表达上的模糊性以及字面含义与真实情感之间的差异性等诸多因素，给文本情感分析任务带来了一定的困难和挑战，如果文本中蕴含的真实情感信息不能被准确识别，那么将严重影响文本情感分析和意见挖掘等任务的准确性。

句内语义冲突是反讽修辞的一个重要特征，在使用传统的序列模型如长短期记忆网络等进行反讽语义建模时往往很难准确地捕捉到嵌入在句子内部的这种情感语义关系，导致一直以来模型的性能很难提升；近年来，有一小部分研究人员针对序列模型的缺点提出了改进算法，其主要思想是通过对句子内部单词-单词之间的语义关系进行建模来捕捉反讽文本的语义冲突关系，这种方法克服了传统序列模型的不足，可以准确地关注到句子内部序列之间的语义联合信息，在很大程度上提高了反讽识别任务的准确性，但是经过研究发现，在使用上述方法对单词-单词之间的语义关系进行建模的过程中，有时会因为单词中所包含的语义信息过少而很难捕捉到单词之间的语义冲突信息，比如说，在反讽句“Going in to work for 2hours was totally worth the 50min drive”中，如果只观察单词-单词之间的语义关系，很难发现句子中存在语义冲突，但是观察短语片段“work for2hours”与短语片段“worth the 50min drive”，可以发现这两个短语在语义上具有强烈的情感对比。

因此，在对产生反讽效果的语言结构特征进行建模时，捕捉句子短语片段之间的语义不一致性信息要比捕捉单词之间的语义不一致性信息更加合理，因为短语片段中所包含的语义信息要远远多于单个单词。

发明内容

为了克服现有反讽识别模型的一些缺点和不足，本发明提出如下技术方案：一种基于卷积神经网络和注意力机制的反讽识别模型，包括：

S1.文本表示层：用于通过预训练语言模型BERT生成单词的词向量；

S2.语义特征提取层：用于通过使用文本卷积神经网络CNN层隐式的将句子分割成短语片段来提取语义特征，通过注意力Attention层机制协助模型捕获与反讽任务相关度特征，根据特征的重要程度分配不同的权值分数，将特征与权值进行重新加权组合；

S3.反讽语义关系建模层：通过对句子内部语义特征之间的语义联合信息进行建模，对句子内部的语义冲突信息进行捕捉；

S4.反讽意图判别层：通过线性层降低反讽语义的特征维数、通过softmax层对线性层的输出进行预测，判断文本序列属于是否包含反讽修辞；

该模型通过文本表示层将输入文本序列S,通过添加分割标记、转换、训练得到该文本序列的词向量表示矩阵E；

将词向量表示矩阵E作为语义特征提取层的输入，利用卷积操作提取特征、将得到的单个短语片段特征拼接成一个特征矩阵M；通过注意力网络对矩阵M 的不同语义特征的重要程度进行分析，并为其分配相对应的权值，最后将权值与特征进行重新加权组合，得到最终的语义特征V；