[发明专利]一种文本的情感分类方法在审
申请号: | 202110178791.7 | 申请日: | 2021-02-08 |
公开(公告)号: | CN112818123A | 公开(公告)日: | 2021-05-18 |
发明(设计)人: | 吴迪;王梓宇;蔡超志;赵伟超;赵玉凤;段晓旋;杨丽君;马文莉;马超 | 申请(专利权)人: | 河北工程大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/247;G06N3/04;G06N3/08 |
代理公司: | 河北国维致远知识产权代理有限公司 13137 | 代理人: | 彭竞驰 |
地址: | 056038 河北省*** | 国省代码: | 河北;13 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 情感 分类 方法 | ||
本发明适用于情感分类技术领域,提供了一种文本的情感分类方法,包括:基于Bert模型对目标文本进行动态词向量建模,并将动态词向量数据输入至预设的双通道神经网络模型的CNN通道中进行特征学习,得到第一特征向量;获取目标文本的主题信息,基于word2vec模型对主题信息进行静态词向量建模,并将静态词向量数据输入至预设的双通道神经网络模型的GRU通道中进行特征学习,得到第二特征向量;将第一特征向量和第二特征向量进行拼接,得到第三特征向量;通过自注意力机制对第三特征向量进行处理,并基于预设的分类器模型对处理后的第三特征向量进行情感分类。本发明能够提高对目标文本进行情感分类的准确率。
技术领域
本发明属于情感分类技术领域,尤其涉及一种文本的情感分类方法。
背景技术
情感分类也称意见挖掘、倾向性分析等,指利用文本挖掘、自然语言处理等技术对评论文本中的主观信息进行识别和提取,获取分析对象对某话题或者某文本的观点态度。
目前,利用深度学习方法和注意力机制技术对评论文本进行情感分类已经成为了新的研究热点。然而,本申请的发明人发现,现有的情感分类方法在训练好一个语言模型之后,每一个词的词向量是固定不变的,后续使用词向量时,无论输入的句子是什么,词向量都没有变化,不能根据上下文进行相应的变动。因此,现有的情感分类方法无法应对评论文本中某个词存在一词多义的问题,分类准确率较差。
发明内容
有鉴于此,本发明实施例提供了一种文本的情感分类方法,以解决现有技术中的情感分类方法无法应对一词多义、分类准确率较差的问题。
本发明实施例的第一方面提供了一种文本的情感分类方法,包括:
基于预训练的Bert模型对目标文本进行动态词向量建模,并将建模后的动态词向量数据输入至预设的双通道神经网络模型的CNN通道中进行特征学习,得到第一特征向量;
获取目标文本的主题信息,基于预训练的word2vec模型对主题信息进行静态词向量建模,并将建模后的静态词向量数据输入至预设的双通道神经网络模型的GRU通道中进行特征学习,得到第二特征向量;
将第一特征向量和第二特征向量进行拼接,得到第三特征向量;
通过自注意力机制对第三特征向量进行处理,并基于预设的分类器模型对处理后的第三特征向量进行情感分类。
可选的,基于预训练的Bert模型对目标文本进行动态词向量建模,包括:
S=[w1,w2...wn]T
式中,S为n行K列的动态词向量矩阵,n为目标文本中的单词数量,wi为第i个单词的K维动态词向量,1≤i≤n。
可选的,双通道神经网络模型的CNN通道的卷积层设置有至少两个大小不同的卷积核,CNN通道提取第一特征向量的方法包括:
各个卷积核分别对动态词向量数据进行卷积处理,得到各个卷积核对应的动态词向量数据的特征向量矩阵;
基于最大池化法分别从各个特征向量矩阵中提取最大特征向量;
基于注意力机制为各个最大特征向量分配相应的权重,得到第一特征向量。
可选的,基于注意力机制为各个最大特征向量分配相应的权重,得到第一特征向量,包括:
式中,Sc为第一特征向量,N为最大特征向量的数量,αj为注意力机制计算的第j个最大特征向量的权重,Zmax,j为第j个最大特征向量。
可选的,获取目标文本的主题信息,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河北工程大学,未经河北工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110178791.7/2.html,转载请声明来源钻瓜专利网。