[发明专利]一种基于注意力机制的CNN-RNN图像情感分析方法

权利要求书

1.一种基于注意力机制的CNN-RNN图像情感分析方法，其特征在于，包括5个分支的ResNet-50卷积神经网络、双向循环神经网络GRU以及注意力机制层；所述5个分支的ResNet-50卷积神经网络包括全连接层、Softmax分类器；

包括步骤：

S1.通过ResNet-50卷积神经网络获取图像的特征，并通过ResNet-50卷积神经网络的5个分支分别提取不同抽象层次的图像特征；

S2.将提取的不同抽象层次的图像特征输入至双向循环神经网络GRU中，通过双向循环神经网络GRU捕获不同抽象层次的依赖关系，得到不同层次的图像特征；

S3.通过注意力机制层确定不同层次特征对图像情感影响的注意力权重系数，利用确定的注意力权重系数对双向循环神经网络GRU输出的不同层次的图像特征进行加权线性组合，得到最终特征；

S4.将得到的最终特征通过全连接层和Softmax分类器处理，得到注意力机制的图像情感分析模型；

S5.当得到注意力机制的图像情感分析模型后，对所述图像情感分析模型进行训练并将所述模型应用于图像情感分析中进行分析。

2.根据权利要求1所述的一种基于注意力机制的CNN-RNN图像情感分析方法，其特征在于，所述5个分支的ResNet-50卷积神经网络还包括卷积层、平均池化层；所述步骤S1中获取图像的特征是通过卷积层运算进行提取的。

3.根据权利要求2所述的一种基于注意力机制的CNN-RNN图像情感分析方法，其特征在于，所述步骤S1中提取不同抽象层次的图像特征包括浅层次特征、中间层特征、高层次特征；所述步骤S1中提取不同抽象层次的图像特征后还包括对提起的中间层特征进行降维处理。

4.根据权利要求1所述的一种基于注意力机制的CNN-RNN图像情感分析方法，其特征在于，所述步骤S2之前还包括：

通过循环神经网络RNN捕捉不同层次特征间的依赖关系。

5.根据权利要求1所述的一种基于注意力机制的CNN-RNN图像情感分析方法，其特征在于，所述步骤S2中通过双向循环神经网络GRU捕获不同抽象层次的依赖关系，表示为：

r_t＝σ(W_vrV_t+W_hrh_t-1+b_r)

z_t＝σ(W_vzV_t+W_hzh_t-1+b_z)

其中，r_t、z_t、h_t分别表示重置门、更新门、候选隐藏状态、隐藏状态；W_vr表示输入-重置门权重矩阵；V_t表示第t个输入特征向量；W_hr表示隐藏状态-重置门权重矩阵；h_t-1表示隐藏状态；b_r表示重置门偏置值；W_vz表示输入-更新门权重矩阵；表示输入-候选隐藏状态权重矩阵；W_hz表示候选状态-更新门权重矩阵；表示输入隐藏状态-候选隐藏状态权重矩阵；b_z表示更新门偏置值；表示候选隐藏状态偏置值。

6.根据权利要求5所述的一种基于注意力机制的CNN-RNN图像情感分析方法，其特征在于，所述步骤S3中通过注意力机制层确定不同层次特征对图像情感影响的注意力权重系数，表示为：

e_t＝M_etanh(M_uH_t+p_u)

其中，M_u、M_e表示权重矩阵；p_u表示偏置项；M_u、M_e、p_u均为学习参数；e_t表示能量值；H_t表示第t个隐藏状态；α_t表示权重系数。