[发明专利]基于卷积注意力机制网络的实体级别情感分类方法在审
申请号: | 201811394014.0 | 申请日: | 2018-11-21 |
公开(公告)号: | CN109213868A | 公开(公告)日: | 2019-01-15 |
发明(设计)人: | 张树武;易谦;刘杰;张桂煊;关虎 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06N3/04;G06N3/08 |
代理公司: | 北京市恒有知识产权代理事务所(普通合伙) 11576 | 代理人: | 郭文浩 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本特征向量 情感分类 实体级别 文本矩阵 预处理 注意力机制 目标实体 卷积 向量 激活函数 目标文本 情感表达 文本表示 线性变换 拼接 权重 注意力 词语 网络 文本 重复 概率 | ||
1.一种基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述方法包括:
步骤S10,对目标文本进行处理获得文本矩阵以及目标实体向量;
步骤S20,将文本矩阵以及目标实体向量进行预处理获得文本特征向量;
步骤S30,将文本特征向量以及文本矩阵进行预处理获得新的文本特征向量;
将步骤S30重复M次,每重复一次所获得的文本特征向量将作为下一次的输入,最终获得M个文本特征向量;
步骤S40,将所有文本特征向量拼接后进行线性变换,输入激活函数,获得文本属于各个感情类别的概率。
2.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述步骤S20的预处理包括:
步骤S21,将所获得的文本矩阵以及目标实体向量输入卷积注意力机制单元,获得文本中每个词的注意力权重;
步骤S22,利用注意力权重将文本矩阵所包含的词向量进行加权求和,获得文本特征向量。
3.根据权利要求2所述的基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述步骤S22中利用注意力权重将文本矩阵所包含的词向量进行加权求和具体为:
步骤S221,将文本中每个词所对应的词向量乘以对应的注意力权值;
步骤S222,将步骤S221获得的向量集合进行求和,获得文本特征向量。
4.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述步骤S30的预处理包括:
步骤S31,将所获得的文本的特征向量作为关键词向量输入卷积注意力机制单元;
步骤S32,将文本矩阵作为内容矩阵输入卷积注意力机制单元;
步骤S33,重复获得注意力权重以及加权求和操作的操作,获得新的文本特征向量。
5.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述步骤S10包括:
步骤S11,利用开源分词算法对目标文本进行分词获得有序词语集合;
步骤S12,利用从互联网上获得的大量文本预训练词向量,针对文本中的每个词以及目标实体,利用预训练获得的维度为D的连续向量表示词语;
步骤S13,将文本中的每个词语的词向量按词语顺序排列并组合,获得文本矩阵。
6.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述方法中的所述卷积注意力机制包括:已知关键词向量以及内容矩阵;
将关键词向量与内容矩阵中每个词向量进行拼接,获得“关键词-内容”矩阵;
使用若干指定大小的卷积核对“关键词-实体”矩阵进行卷积操作,获得卷积特征矩阵;
将卷积特征矩阵与偏差向量相加;
使用双曲正切函数作为卷积操作的激活函数,其公式表示为:
其中x表示特征矩阵中各个元素的值;
针对卷积特征矩阵当中每一个单词所对应的特征向量,进行最大化池化操作,获得注意力权重特征;
使用softmax函数对所得注意力权重特征向量进行归一化;其中,softmax函数的公式表示为:
其中xj表示特征向量中的第j个元素,x表示当前的元素值。
7.根据权利要求6所述的基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述最大化池化操作具体包括:
仅保留特征向量所有元素中的最大值作为单词所对应的注意力权重特征值;
获得维度与文本单词数一致的注意力权重特征向量。
8.根据权利要求1所述的基于卷积注意力机制网络的实体级别情感分类方法,其特征在于,所述步骤S40包括:
步骤S41,将所得的文本特征向量进行拼接;
步骤S42,将拼接后向量与线性变换权重矩阵相乘,并加上偏置向量;
步骤S43,将线性变换后特征向量送入非线性激活函数,获得文本属于每一情感类别的概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811394014.0/1.html,转载请声明来源钻瓜专利网。