[发明专利]一种带降噪和纠错的图神经网络对话情感识别方法在审
申请号: | 202310161583.5 | 申请日: | 2023-02-24 |
公开(公告)号: | CN116127968A | 公开(公告)日: | 2023-05-16 |
发明(设计)人: | 甘臣权;郑嘉浩;祝清意 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/284;G06F18/24;G06F18/25;G06N3/04;G06N3/08 |
代理公司: | 北京同恒源知识产权代理有限公司 11275 | 代理人: | 廖曦 |
地址: | 400065 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 带降噪 纠错 神经网络 对话 情感 识别 方法 | ||
1.一种带降噪和纠错的图神经网络对话情感识别方法,其特征在于:该方法包括以下步骤:
步骤一:通过预处理模块,对话中的每句话语将被分词并添加特殊标志位[CLS]和[SEP]便于后续的分类任务,然后在预训练语言模型中被处理为语义特征;
步骤二:使用上下文筛选模块分别评估话语上下文的语义相关性和信息量,根据评估结果丢弃部分噪声上下文,并建立话语之间的依赖关系;
步骤三:利用关系图神经网络从上下文中学习语境信息,获得上下文嵌入的情感特征;
步骤四:利用特征纠错模块整合语义特征和情感特征,通过门控机制控制特征中的错误信息,纠正其中的部分错误;
步骤五:通过全连接网络预测话语情感类别,用交叉熵损失函数度量标签分布和模型预测分布之间的差异。
2.根据权利要求1所述的一种带降噪和纠错的图神经网络对话情感识别方法,其特征在于:所述步骤一具体过程包括:首先按照对话顺序获得话语集合{u1,u2,...,uN},利用分词器对话语进行分词处理,然后在分词结果前后添加特殊标志位[CLS]和[SEP]便于后续的分类任务;然后通过预训练语言模型将话语ui处理为1024维的语义特征向量Hi的形式:
Xi={[T1],[T2],...,[TN]},
Xi={[CLS],[T1],[T2],...,[TN],[SEP]},
Hi=RoBERTa(Xi).last_hidden_layer[0].
其中,Xi为话语ui添加特殊标志位后的分词表示,Hi是预训练语言模型RoBERTa中最后一个隐藏层的[CLS]所表示的特征向量;[CLS]能够代表整句话语的语义特征向量,该向量能直接用于分类任务。
3.根据权利要求2所述的一种带降噪和纠错的图神经网络对话情感识别方法,其特征在于:所述步骤二中,上下文筛选过程包括:使用余弦相似度来度量目标话语特征Hi与上下文特征H之间的语义相关程度,用语义相似度矩阵s1来表示;
同时,使用信息熵来度量上下文中包含的信息量,已知话语含有越高的信息熵,其情感的不确定性越高,模型就需要对该话语重点分析;通过累加话语中每个词的信息熵,能够获得上下文的信息熵矩阵:
其中,p(Tj)表示话语ui中的第j个分词在对话中出现的频率;为了信息熵矩阵能匹配语义相关矩阵的维度,堆叠N个来构造与s1相同的信息熵矩阵得到
s=(1-α)·s1+α·s2
加权求和语义相关性矩阵s1和信息熵矩阵s2,对求和矩阵s中的每个元素进行筛选,去除部分分数较低的噪声上下文;
其中,γ是一个超参数,表示阈值;sij表示上下文话语uj相对于目标话语ui的综合分数;maskij表示话语节点ui和uj之间的连接关系,1表示有连接,0表示无连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310161583.5/1.html,转载请声明来源钻瓜专利网。