[发明专利]一种基于RoBERTa模型的情感分析方法及装置

权利要求书

1.一种基于RoBERTa模型的情感分析方法，其特征在于，包括：

获取情感分析数据集并进行数据预处理，得到训练集、验证集和测试集；

提取训练集和验证集的评论文本转换成无标签数据集；

构建RoBERTa-WWM-ext模型，对无标签数据集中的评论文本进行随机掩码处理，得到掩码标志位，再通过对掩码标志位进行词预测的方式训练RoBERTa-WWM-ext模型，得到训练好的RoBERTa-WWM-ext模型；

构建双向独立循环神经网络并训练，将完成掩码预测训练任务的RoBERTa-WWM-ext模型的最后一层隐藏层外接双向独立循环神经网络，得到最终的情感分析模型，其中，双向独立循环神经网络需要对双向独立循环神经网络输出的特征向量进行权重分配；

通过最终的情感分析模型进行情感极性预测，将测试集中评论文本输入情感分析模型，输出情感类别标签。

2.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述提取训练集和验证集的评论文本转换成无标签文本包括：

将无标签数据集的格式转换成设定的表格形式。

3.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述构建RoBERTa-WWM-ext模型，将无标签数据集中的评论文本进行随机掩码处理，得到掩码标志位，再通过对掩码标志位进行词预测的方式训练RoBERTa-WWM-ext模型，得到训练好的RoBERTa-WWM-ext模型包括：

通过掩码预测的预训练过程，更新RoBERTa-WWM-ext模型的参数，为RoBERTa-WWM-ext模型做情感分析任务时获得更合理的初始化。

4.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述构建双向独立循环神经网络并训练，将完成掩码预测训练任务的RoBERTa-WWM-ext模型的最后一层隐藏层外接双向独立循环神经网络，得到最终的情感分析模型，其中，双向独立循环神经网络需要对双向独立循环神经网络输出的特征向量进行权重分配包括：

将样本序列编码为包含词向量、位置向量、段向量的输入序列，将其输入RoBERTa-WWM-ext模型由多头自注意力机制组成的核心处理层进行特征提取；构建双向独立循环神经网络，用于处理RoBERTa-WWM-ext模型最后一层Transformer层输出的全部隐藏向量,结合正向序列和反向序列的特征向量，学习句子中的长距离依赖信息。

5.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述双向独立循环神经网络的结构式为：

h_t＝σ(Wx_t+U⊙h_t-1+b)

式中，σ为ReLU激活函数，W为权重矩阵，x_t代表t时刻的输入，U代表循环层的权重，h_t-1表示t-1时刻的序列输出，b为偏置，运算符⊙代表矩阵U和h_t-1对应位置相乘。

6.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述权重分配公式为：

其中，u_i为隐藏状态信息的非线性化，u_w是随机初始化注意力矩阵，α_i用来计算隐藏层中第i项对于文本序列在情感分析任务的信息相关度。

7.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法，其特征在于，所述情感分析模型通过交叉熵函数进行训练，用于优化情感分析模型。

8.一种基于RoBERTa模型的情感分析装置，其特征在于，包括：

获取模块，用于获取情感分析数据集并进行预处理，得到训练集、验证集和测试集，并提取训练集和验证集的评论文本转换成无标签数据集；

第一构建模块，用于构建RoBERTa-WWM-ext模型，将无标签数据集中的评论文本进行随机掩码处理，得到掩码标志位，再通过对掩码标志位进行词预测的方式训练RoBERTa-WWM-ext模型，得到训练好的RoBERTa-WWM-ext模型；

第二构建模块，用于构建双向独立循环神经网络并训练，将完成掩码预测训练任务的的RoBERTa-WWM-ext模型的最后一层隐藏层外接双向独立循环神经网络，得到最终的情感分析模型，其中，双向独立循环神经网络需要对双向独立循环神经网络输出的特征向量进行权重分配；

输出模块，得到最终的情感分析模型，将测试集中评论文本输入情感分析模型进行情感极性预测，输出情感类别标签。