[发明专利]一种用于情感分析模型的优化方法

权利要求书

1.一种用于情感分析模型的优化方法，所述情感分析模型包括主模型、句子复原模块和判别器，所述主模型包括任务无关编码器、情感分析编码器和补充学习编码器，其特征在于：所述方法包括以下步骤：

通过所述任务无关编码器获取输入语句，并对所述语句进行编码，得到所述语句中每个词的隐向量；

将所述隐向量输入所述补充学习编码器，得到补充学习隐向量，并将所述补充学习隐向量通过向量算法计算得到方面词的向量表征；

将所述隐向量与所述方面词的向量表征输入所述情感分析编码器，得到情感极性损失；

将所述方面词的向量表征输入所述句子复原模块，得到中间结果以及补充学习损失；

将所述隐向量以及所述中间结果输入所述判别器，得到判别器损失；

对所述情感极性损失、补充学习损失以及判别器损失依据预设的第一算法计算得到整体损失；

通过所述整体损失对所述情感分析模型进行初步优化。

2.如权利要求1所述的优化方法，其特征在于：得到情感极性损失包括以下步骤：

将所述隐向量与所述方面词的向量表征输入所述情感分析编码器，得到词汇的情感分析向量表征以及方面词的情感分析向量表征；

对所述隐向量、词汇的情感分析向量表征以及方面词情感分析向量表征依据预设的第二算法进行计算，得到所述情感极性损失。

3.如权利要求2所述的优化方法，其特征在于：所述预设的第二算法包括以下步骤：

对所述隐向量依据预设的向量算法计算得到任务无关的句子表征；

对所述词汇的情感分析向量表征以及方面词的情感分析向量表征依据预设的向量算法计算得到情感分析句子表征；

将所述任务无关的句子表征与情感分析句子表征串联得到中间向量；

将所述中间向量输入预设的第一全连接层，并将所述第一全连接层的输出结果输入预设的SoftMax分类器，得到预测的情感极性；

将所述预测的情感极性与预设的标准进行对比计算得到所述情感极性损失。

4.如权利要求1所述的优化方法，其特征在于：所述句子复原模块包括补充学习解码器，得到所述补充学习损失包括以下步骤：

将所述补充学习隐向量输入所述补充学习解码器重构所述输入语句，得到预测的词汇；

将所述预测的词汇与所述输入语句中的词汇进行对比得到所述中间结果，并根据预设的第三算法计算得到补充学习损失。

5.如权利要求4所述的优化方法，其特征在于：所述预设的第三算法包括以下步骤：

计算某个位置的词的负对数自然损失，并将所有位置的词的负对数自然损失的词求和，得到所述补充学习损失。

6.如权利要求1所述的优化方法，其特征在于：得到所述判别器损失还包括以下步骤：

依据所述中间结果，得到判别器的目标输出；

对所述目标输出依据预设的第四算法进行计算，得到所述判别器损失。

7.如权利要求6所述的优化方法，其特征在于：所述目标输出的取值为0或1，所述预设的第四算法包括以下步骤：

将所述补充学习隐向量输入预设的第二全连接层，并将所述第二全连接层的输出结果输入到预设的第二SoftMax分类器，针对每个词得到一个2维向量，所述2维向量的每个的维度对应所述目标输出在0和1上的分布概率；

依据所述分布概率得到所述判别器损失。

8.如权利要求1所述的优化方法，其特征在于：计算所述整体损失时，引入可调节的控制参数，所述控制参数用于控制所述补充学习模块以及对抗学习的判别器对模型训练贡献的大小。

9.如权利要求1所述的优化方法，其特征在于：所述方法还包括以下步骤：

在通过所述整体损失对所述情感分析模型进行优化之后，再通过调整所述情感分析模型中部分模块的参数，对所述情感分析模型参数进行二次优化更新。

10.如权利要求9所述的优化方法，其特征在于：所述二次优化包括以下步骤：

通过所述整体损失对所述情感分析模型优化后的参数，对所述任务无关编码器、补充学习编码器、情感分析编码器、预设的向量算法与第一、第二全连接层和SoftMax分类器进行初始化；

采用与初步优化中相同的方式计算出优化后的情感极性损失；

依据所述优化后关系类型损失，通过反向传播算法对所述情感分析编码器、第一全连接层和第二全连接层的模型参数进行二次优化更新，得到最终优化后的情感分析模型。