[发明专利]一种基于迁移学习的方面级别情感分析方法及装置在审
| 申请号: | 202210302985.8 | 申请日: | 2022-03-24 |
| 公开(公告)号: | CN114912423A | 公开(公告)日: | 2022-08-16 |
| 发明(设计)人: | 侯培国;夏宇同 | 申请(专利权)人: | 燕山大学 |
| 主分类号: | G06F40/169 | 分类号: | G06F40/169;G06F40/30;G06F16/35;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 石家庄众志华清知识产权事务所(特殊普通合伙) 13123 | 代理人: | 张建 |
| 地址: | 066004 河北*** | 国省代码: | 河北;13 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 迁移 学习 方面 级别 情感 分析 方法 装置 | ||
1.一种基于迁移学习的方面级别情感分析方法,其特征在于,包括:
获取方面级别的情感分析数据集并进行预处理,去掉情感极性标签,得到包含方面级别评价实体和上下文的第一样本序列,作为无标签数据;
构建RoBERTa模型,使用无标签数据做掩码预测任务训练RoBERTa模型,得到完成此阶段训练任务的RoBERTa模型;
获取与方面级别情感分析相同场景下的文档级别情感数据集;
对完成自监督掩码预测训练任务的RoBERTa模型,做文档级别情感分析任务训练此模型;
再次获取方面级别情感分析数据集,构建融合评论文本信息、方面信息的句子对作为第二样本序列;
将第二样本序列输入已完成文档级别情感分析任务的RoBERTa模型,进行方面级别情感分析,输出情感类别标签。
2.根据权利要求1所述的一种基于迁移学习的方面级别情感分析方法,其特征在于,将所述第一样本序列中的每条评论文本转换为表格格式。
3.根据权利要求1所述的一种基于迁移学习的方面级别情感分析方法,其特征在于,所述掩码预测任务训练RoBERTa模型包括:
获取无标签数据的评论文本序列{w1,w2,.....wn-1,wn}以百分十五的概率做随机掩码,得到掩码标志位;构建RoBERTa模型,做掩码预测的预训练任务训练RoBERTa模型,得到训练好的RoBERTa模型。
4.根据权利要求1所述的一种基于迁移学习的方面级别情感分析方法,其特征在于,所述获取与方面级别情感分析相同场景下的文档级别情感数据集包括:获取文档级别情感分析数据集,根据评论对应的评分区间划分出情感极性类别,筛除空标签和评论文本乱码的样本,得到数据处理后相同场景下的文档级别情感分析数据集。
5.根据权利要求1所述的一种基于迁移学习的方面级别情感分析方法,其特征在于,所述对完成自监督掩码预测训练任务的RoBERTa模型,做文档级别情感分析任务训练此模型包括:通过Transformer编码器的语言模型,捕获文档级别情感分析数据中评论文本不同层次的结构知识和语义信息,使用文档级别情感分析任务训练RoBERTa模型过程中设置分层学习率,用于优化模型参数。
6.根据权利要求1所述的一种基于迁移学习的方面级别情感分析方法,其特征在于,所述将第二样本序列输入已完成文档级别情感分析任务的RoBERTa模型,进行方面级别情感分析,输出情感类别标签包括:
第二样本序列输入过程包括以句子对的形式融合评论文本的语义信息和方面信息作为输入RoBERTa模型的样本序列,表达式如下:
input={sw1,w2,...,wn-1,wn,/st1,t2,...tm}
式中,s为分类标志位,{w1,w2,.....wn-1,wn}为评论文本序列,/s为分隔符,{t1,t2,.....,tm}为方面词序列;
在分类标志位上接入Softmax分类器,判别方面级别评价对象所对应的情感极性,使用交叉熵函数计算学习模型分布与训练分布之间的差异,得到最终的方面级别情感分析模型,将样本序列输入此模型进行情感极性预测,输出情感类别标签。
7.一种基于迁移学习的方面级别情感分析装置,其特征在于,包括:
数据获取模块,用于获取方面级别的情感分析数据集并进行预处理,去掉情感极性标签,得到包含方面级别评价实体和上下文的第一样本序列,作为无标签数据;
RoBERTa模块,用于构建RoBERTa模型,使用无标签数据做掩码预测任务训练RoBERTa模型,得到完成此阶段训练任务的RoBERTa模型;
训练模块,用于获取与方面级别情感分析相同场景下的文档级别情感数据集,对完成自监督掩掩码预测训练任务的RoBERTa模型,做文档级别情感分析任务训练此模型;
输出模块,用于再次获取方面级别情感分析数据集,构建融合评论文本信息、方面信息的句子对作为第二样本序列,将第二样本序列输入已完成文档级别情感分析任务的RoBERTa模型,进行方面级别情感分析,输出情感类别标签。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于燕山大学,未经燕山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210302985.8/1.html,转载请声明来源钻瓜专利网。





