[发明专利]基于自适应注意力机制的句子级情感预测方法及系统在审
申请号: | 202010059024.X | 申请日: | 2020-01-19 |
公开(公告)号: | CN111259147A | 公开(公告)日: | 2020-06-09 |
发明(设计)人: | 周风余;刘美珍;贺家凯;孙鸿昌 | 申请(专利权)人: | 山东大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/30;G06F40/289 |
代理公司: | 济南圣达知识产权代理有限公司 37221 | 代理人: | 董雪 |
地址: | 250061 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 自适应 注意力 机制 句子 情感 预测 方法 系统 | ||
1.一种基于自适应注意力机制的句子级情感预测方法,其特征在于,包括:
对带预测文本的句子组成进行分词、去停处理;
对句子的单词嵌入表达进行特征提取,得到每个句子的特征表达;
抽取同一序列文本的前向及后向的信息传递,得到融合文本序列信息的句子特征表达;
基于每个句子的查询向量与所有一致向量之间的相关性,确定目标句子特征向量与其他句子特征向量间相关性的权重,获得融合其他句子情感影响的句子特征表达;
基于得到的句子特征进行情感极性预测。
2.如权利要求1所述的一种基于自适应注意力机制的句子级情感预测方法,其特征在于,基于单向的LSTM网络对句子的单词嵌入表达进行特征提取,以得到每个句子的特征表达。
3.如权利要求1所述的一种基于自适应注意力机制的句子级情感预测方法,其特征在于,利用双向的LSTM网络处理每个句子的特征向量,抽取同一序列文本的前向及后向的信息传递,得到融合文本序列信息的句子特征表达。
4.如权利要求1所述的一种基于自适应注意力机制的句子级情感预测方法,其特征在于,每个句子的查询向量与所有一致向量之间的相关性的确定方法为:
计算文本中每个句子的一致向量;
采用双曲正切函数将句子对应的一致向量投影到(-1,+1)之间;
计算每个句子的查询向量,将上述得到的映射值分别与查询向量相乘;
基于所述乘积计算目标句子的特征向量与其他句子特征向量间相关性的权重。
5.如权利要求1所述的一种基于自适应注意力机制的句子级情感预测方法,其特征在于,获得融合其他句子情感影响的句子特征表达,具体为:
其中,αij表示第j个句子对第i个句子的情感影响值,表示第l-th个文本中第t个句子的特征表达,t=1,2,…,M。
6.如权利要求1所述的一种基于自适应注意力机制的句子级情感预测方法,其特征在于,基于得到的句子特征进行情感极性预测,具体为:
采用Softmax函数预测文本中目标句子的情感极性,得到每个句子中属于不同情感极性的情感标签的概率。
7.如权利要求1所述的一种基于自适应注意力机制的句子级情感预测方法,其特征在于,基于得到的句子特征进行情感极性预测,具体为:
基于结构风险最小化原则,融合Fisher规则来设计分类决策函数,具体为:
其中,是句子表示的情感标签;的取值为(+1,-1),时表示情感极性为积极,-1即为其他情感极性,包括消极情感和中性情感;是核函数,为支持向量的常数系数;b*是偏差。
8.如权利要求7所述的一种基于自适应注意力机制的句子级情感预测方法,其特征在于,在结构风险最小化规则的基础上,引入fisher规则构造分类器的最优函数,具体为:
ξi≥0,i=1,2,…,N
其中,和||w||2是L2正则化;λ是常数;C是惩罚参数;ξi≥0是弹性变量。Sw为正样本和负样本的类内散度;Sb是正样本和负样本的类间散度,b表示修正参数。
9.一种自适应支持向量机分类器,其特征在于,包括:
采用结构风险最小化原则和Fisher分类器的优化原则设计自适应支持向量机分类器的分类决策函数,具体为:
其中,是句子表示的情感标签;的取值为(+1,-1),时表示情感极性为积极,-1即为其他情感极性,包括消极情感和中性情感;是核函数,为支持向量的常数系数;b*是偏差。
10.一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求1-8任一项所述的基于自适应注意力机制的句子级情感预测方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东大学,未经山东大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010059024.X/1.html,转载请声明来源钻瓜专利网。