[发明专利]文本细粒度情感分类方法、系统、装置及存储介质

说明书

本发明公开了一种文本细粒度情感分类方法、系统、装置及存储介质，其中方法包括以下步骤：获取目标文本和属性词，对目标文本和属性词进行预处理，获得序列对；将序列对输入XLNet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示；采用胶囊网络对词向量语义序列进行学习，获得包含局部特征及空间层次关系的局部特征表示；将全局特征表示和局部特征表示进行合并，获得目标文本的最终语义表示，根据最终语义表示对情感类别进行预测。本发明通过充分结合XLNet学习大规模文本的语义知识方面的优势，以及胶囊网络在学习文本序列的局部信息和空间结构信息方面的优势，提高情感分类的准确率，可广泛应用于自然语言处理领域。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种文本细粒度情感分类方法、系统、装置及存储介质。

背景技术

基于机器学习的文本属性情感分类是近年来自然语言处理领域中最热门的一个研究方向，在舆情监测、自动问答、信息抽取、电子商务等众多领域已经得到广泛和深入的应用。所谓的文本属性情感分类是指在给定分类体系的前提下，利用机器学习的方式来对文本的内容进行分析后自动确定文本中针对某个属性的情感极性的过程。早期很多研究人员采用了各种基于特征的表示方式，特别是采用各种经典的神经网络模型，如卷积神经网络CNN、长短期记忆网络LSTM、门控循环单元GRU等。近两年来，预训练语言模型及针对任务进行微调的两阶段模型在多个自然语言处理任务上取得了新的最好结果。特别是生成式预训练GPT和双向预训练语言模型BERT等工作证明了利用大规模无标注文本语料学习通用语言表示，并根据具体任务进行微调的方式是可行的。由于BERT在训练过程中没有考虑被屏蔽单词之间的关系，并且容易与微调过程出现不一致，因此Yang等学者进一步提出了XLNet模型用于克服BERT中存在上述的问题，并在多个自然语言任务中取得了新的最好结果。现有的研究和应用已证明预训练语言模型及XLNet适合用于学习句子中语言单元间的依赖关系，而胶囊网络适合用于学习句子的局部特征和空间层次结构关系，但目前的研究没有充分地结合XLNet和胶囊网络CapsNet各自的优势，也没有考虑属性情感分类任务的特点更好地对属性和目标文本之间的关系进行建模。

发明内容

为了解决上述技术问题，本发明的目的是提供一种结合胶囊网络和XLNet的文本细粒度情感分类方法、系统、装置及存储介质。

本发明所采用的技术方案是：

一种文本细粒度情感分类方法，包括以下步骤：

获取目标文本和属性词，对所述目标文本和所述属性词进行预处理，获得序列对；

将所述序列对输入XLNet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示；

采用胶囊网络对所述词向量语义序列进行学习，获得包含局部特征及空间层次关系的局部特征表示；

将所述全局特征表示和所述局部特征表示进行合并，获得目标文本的最终语义表示，根据所述最终语义表示对情感类别进行预测。

进一步，所述对所述目标文本和所述属性词进行预处理，获得序列对，包括：

采用预设工具对所述目标文本和所述属性词进行分词，将分词后的各个单词转成预设词汇表中的序号信息；

结合所述序号信息、各个单词的位置词向量、单词词向量信息及分段信息获得序列对；

所述序列对包含句子单词词向量以及属性词词向量。

进一步，所述将所述序列对输入XLNet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示，包括：

将所述序列对输入XLNet模型后，通过XLNet模型对序列对中包含属性相关的上下文信息进行学习，获得并输出属性相关的词向量语义序列和全局特征表示；