[发明专利]一种基于卷积神经网络和注意力机制的反讽识别模型

权利要求书

1.一种基于卷积神经网络和注意力机制的反讽识别模型，其特征在于，包括：

S1.文本表示层：用于通过预训练语言模型BERT生成单词的词向量；

S2.语义特征提取层：用于通过使用文本卷积神经网络CNN层隐式的将句子分割成短语片段来提取语义特征，通过注意力Attention层机制协助模型捕获与反讽任务相关度特征，根据特征的重要程度分配不同的权值分数，将特征与权值进行重新加权组合；

S3.反讽语义关系建模层：通过对句子内部语义特征之间的语义联合信息进行建模，对句子内部的语义冲突信息进行捕捉；

S4.反讽意图判别层：通过线性层降低反讽语义的特征维数、通过softmax层对线性层的输出进行预测，判断文本序列属于是否包含反讽修辞；

该模型通过文本表示层将输入文本序列S,通过添加分割标记、转换、训练得到该文本序列的词向量表示矩阵E；

将词向量表示矩阵E作为语义特征提取层的输入，利用卷积操作提取特征、将得到的单个短语片段特征拼接成一个特征矩阵M；通过注意力网络对矩阵M的不同语义特征的重要程度进行分析，并为其分配相对应的权值，最后将权值与特征进行重新加权组合，得到最终的语义特征V；

语义特征V作为反讽语义关系建模层的输入，通过语义联合信息进行建模、池化、加权求和得到文本序列的反讽语义表示f_a；

文本序列的反讽语义表示f_a为反讽意图判别层的输入，通过线性层降低反讽语义的特征表示f_a的维数，softmax层对线性层的输出进行预测，判断文本序列属于是否包含反讽修辞，得到模型的分类结果

2.根据权利要求1所述的一种基于卷积神经网络和注意力机制的反讽识别模型，其特征在于，所述的文本表示层中：使用预训练语言模型BERT对不同语境信息下的反讽文本进行训练，得到包含上下文信息的词嵌入表示；

使用预训练语言模型BERT的步骤如下：

首先，定义输入文本序列S，S＝{s₁,s₂,...,s_n}，其si代表文本序列的第i个单词，n代表文本序列中包含的单词个数；

其次，在文本序列的开头和结尾分别添加“[CLS]”和“[SEP]”分割标记，将文本序列转换成BERT模型可以处理的特定格式；

最后，将处理好的文本序列送入BERT模型进行训练，得到该文本序列的词向量表示矩阵E，具体过程如公式3.1:

E＝BERT(“[CLS]”+s₁,s₂,s₃,...s_n+“[SEP]”) (3.1)

其中，E＝{e₁,e₂,e₃...,e_n}，e_i∈R^k代表文本序列中第i个单词的词向量表示，k代表词向量的维度。

3.根据权利要求2所述的一种基于卷积神经网络和注意力机制的反讽识别模型，其特征在于，所述的预训练语言模型BERT包括令牌嵌入模型Token Embedding、位置嵌入模型Position Embedding、分割嵌入模型Segment Embedding。