[发明专利]一种带降噪和纠错的图神经网络对话情感识别方法

说明书

本发明涉及一种带降噪和纠错的图神经网络对话情感识别方法，属于自然语言处理领域。该方法为：利用预训练语言模型提取对话中话语的语义特征；利用设计的上下文筛选模块评估上下文的语义相关性和信息量，丢弃部分噪声上下文，并建立话语依赖关系；利用关系图神经网络从上下文中学习语境信息，并生成相应的情感特征；利用特征纠错模块整合语义特征和情感特征，使两者能够互相监督，达到纠正特征中部分错误的目的；通过全连接网络预测情感类别，用交叉熵损失函数度量标签与模型预测分布差异。本发明降低了噪声上下文对情感识别的干扰，结合特征纠错模块使模型的理解分析能力提高，具有较强的情感识别能力。

技术领域

本发明属于自然语言处理领域，涉及一种带降噪和纠错的图神经网络对话情感识别方法。

背景技术

对话情感识别不同于传统的文本情感识别，对话情感识别受多种因素影响。在不同的语境下或来自不同的说话人，相同的话语都可能表示不同的情感。Li等人在心理学研究中将对话中说话人的情感变化归纳为两个主要影响因素：自我依赖和说话人依赖。自我依赖是指说话人本人会受到自身情感的影响，说话人依赖是指对话双方的情绪会相互影响。在这些因素影响下，准确地识别话语情感是对话情感识别的挑战之一。

为了考虑上下文和说话人关系对话语情感的影响，研究学者Hazarika、Majumder等人利用循环神经网络(Recurrent Neural Network,RNN)捕获对话的时间顺序，记忆不同说话人的上下文历史信息。由于RNN存在长期依赖的问题，即使同时考虑了对话的时间顺序和上下文的影响，这些基于RNN的模型在获取远距离上下文时表现不佳。此外，Li等人结合外部知识库来学习话语中的常识知识，提高了模型的语言理解能力。然而，这些方法使会话建模变得复杂，而且远距离上下文的获取仍然有限。图神经网络(Graph Neural Network,GNN)及其变体的出现在一定程度上缓解了RNN长期依赖的问题。由于GNN强大的关联性数据处理能力，越来越多的研究人员倾向于利用GNN进行对话情感识别。最近，Song、Gao等人在研究中结合GNN和预训练语言模型联系上下文理解对话中的语义句法信息，取得了先进的性能结果。

基于GNN的情感识别方法将对话视为一张图，图节点表示话语，边代表话语关系。对话关系是根据自我依赖和说话人之间的依赖建立起来的。然后考虑语义相似度来初始化图中的边权值，表示话语之间的影响。然而，利用所有上下文建立话语依赖时容易联系到弱相关甚至不相关的上下文话语，而考虑过少的上下文会使模型在日常场景的对话中表现不佳。这些方法忽略了对话中存在的另一个潜在影响因素——信息量。直观地，如果一个话语的信息量足够大，能够显著地改变他人的认知，引起情绪的变化，那么在情绪识别中就应该考虑该话语。经常有一些话语缺乏明显的情绪倾向，对情绪的感知贡献不大。将这些上下文作为引用联系起来会浪费计算资源。将语义相关性低和信息量低的话语称为噪声，这些噪声会干扰模型进行情感识别。

基于GNN的模型除了在建立话语依赖关系时容易将噪声引入模型外，在学习过程中也容易受到噪声的影响，导致学习特征信息出现错误。Lian等人利用图关系神经网络捕捉人际关系和话语关系来修正话语的特征，这在一定程度上缓解了模型未充分理解对话关系导致的预测错误。据所知，目前在对话情感识别方向的纠错系统方面还缺乏相关的研究。

综合上述讨论，提出了一种带有降噪和纠错功能的图神经网络。为了减少模型训练时上下文引入的噪声信息，设计了上下文筛选模块来建立话语间的依赖关系。模块能同时考虑到上下文的语义相关性和信息量，使话语与语境具有强相关性和高信息量。这不仅避免了长距离上下文信息的丢失，而且还减少了对模型的噪声干扰。此外，设计了一种特征修正方法来进一步提高模型的性能。特征修正可以将预处理得到的语义特征和图处理得到的情感特征结合起来，通过门控机制控制错误信息，对特征中的部分错误进行修正。最后，在常用的对话数据集上进行了一些实验，包括与最新方法的比较。

发明内容

有鉴于此，本发明的目的在于提供一种带降噪和纠错的图神经网络对话情感识别方法。

为达到上述目的，本发明提供如下技术方案：