[发明专利]基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质在审

专利信息
申请号: 202111255353.2 申请日: 2021-10-27
公开(公告)号: CN113987179A 公开(公告)日: 2022-01-28
发明(设计)人: 解云鹤;孙承杰;刘秉权;季振洲;单丽莉;林磊;刘远超 申请(专利权)人: 哈尔滨工业大学
主分类号: G06F16/35 分类号: G06F16/35;G06V10/764;G06V10/774;G06K9/62;G06N3/08
代理公司: 哈尔滨市伟晨专利代理事务所(普通合伙) 23209 代理人: 李晓敏
地址: 150001 黑龙*** 国省代码: 黑龙江;23
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 知识 增强 回溯 损失 对话 情绪 识别 网络 模型 构建 方法 电子设备 存储 介质
【权利要求书】:

1.基于知识增强和回溯损失的对话情绪识别网络模型,其特征在于,包括:语境和情感动态感知模块、外部知识交互模块和回溯历史状态模块;

语境和情感动态感知模块,利用transformer结构作为最底层的词编码器,通过当前话语及其对应的说话人设计不同的注意力掩码矩阵,达到同时引入情感动力学以及语境影响的效果;

外部知识交互模块,通过利用图注意力网络实现对外部结构化情感知识的利用,从而扩充了话语的语义信息,弥补了词编码器模块在某些特定维度上知识的缺失;

回溯历史状态模块,在任务损失函数的基础上加入了一个回溯损失,旨在利用先前的训练经验来指导权重更新,确保模型决策更接近真实值,以达到在训练过程中利用过去模型状态的先验经验的效果。

2.根据权利要求1所述的基于知识增强和回溯损失的对话情绪识别网络模型,其特征在于,任务定义模块,假定一组对话集合,在每段对话中包含一系列话语,其中带有预定义情感标签的话语由说话者发出,所有的说话者组成集合;所有预定义的情绪标签组成集合;

还包括话语读入模块,对于对话中的每个目标话语前预置一个特殊的标记,输入到嵌入层,相应的单词嵌入序列被当作Transformer第一层的隐状态输入,也被用于知识引入的概念嵌入层。

3.基于知识增强和回溯损失的对话情绪识别网络模型构建方法,其特征在于,包括:

步骤一,假定一组对话集合,在每段对话中包含一系列话语,其中带有预定义情感标签的话语由说话者发出,所有的说话者组成集合;所有预定义的情绪标签组成集合;

步骤二,话语读入模块对于对话中的每个目标话语前预置一个特殊的标记,输入到嵌入层,相应的单词嵌入序列被当作Transformer第一层的隐状态输入,也被用于知识引入的概念嵌入层;

步骤三,利用transformer结构作为最底层的词编码器,通过当前话语及其对应的说话人设计不同的注意力掩码矩阵,达到同时引入情感动力学以及语境影响的效果;

步骤四,通过利用图注意力网络实现对外部结构化情感知识的利用,从而扩充了话语的语义信息,弥补了词编码器模块在某些特定维度上知识的缺失;

步骤五,在任务损失函数的基础上加入了一个回溯损失,旨在利用先前的训练经验来指导权重更新,确保模型决策更接近真实值,以达到在训练过程中利用过去模型状态的先验经验的效果。

4.根据权利要求3所述的基于知识增强和回溯损失的对话情绪识别网络模型构建方法,其特征在于,所述步骤一中,假定一组对话集合其中L代表对话的个数,在每段对话中包含一系列Ni个话语,其中带有预定义情感标签的话语ui由说话者发出,所有的说话者组成集合所有预定义的情绪标签组成集合

5.根据权利要求4所述的基于知识增强和回溯损失的对话情绪识别网络模型构建方法,其特征在于,所述步骤二中,对于对话Dj中的第i句话语wk表示话语ui中的第k个词,Nk表示话语ui中的单词数目;在每个目标话语前预置一个特殊的标记“[CLS]”:

xi表示预置特殊标记的目标话语集合,然后xi被输入到嵌入层:

其中表示单词嵌入序列,Dh代表XLNet-base的输入维数,相应的单词嵌入序列被当作Transformer第一层的隐状态输入,同时也被用于知识引入模块的概念嵌入层。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学,未经哈尔滨工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111255353.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top