[发明专利]一种基于多模态数据的图像情感识别方法及系统

说明书

本发明涉及一种基于多模态数据的图像情感识别方法及系统，包括：获取训练样本数据；根据训练样本数据得训练好的循环神经网络以及训练好的卷积神经网络；获取待识别数据；将待识别文本数据输入训练好的循环神经网络，得文本特征；将待识别图像输入训练好的卷积神经网络，得美感特征、情感特征以及共享特征；采用TFN方法对美感特征、共享特征和文本特征进行融合，得第一待识别融合特征；采用TFN方法对情感特征、图像特征和文本特征进行融合，得第二待识别融合特征；根据待识别融合特征确定待识别数据的情感。通过本发明的上述方法提高了情感识别的准确性。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于多模态数据的图像情感识别方法及系统。

背景技术

对于多媒体数据的情感分析一直以来都是一项具有挑战性的任务，国内外已经有许多学者、企业展开了对各个模态数据情感分析的研究。但较长时间来，研究人员主要关注单个模态的情感分析算法，而较少关注多种模态数据的联合分析。

传统的情感分析方法提取图片的纹理、聚类各种颜色，构建颜色、形状、纹理和情感之间的相关性。然而，一幅图像的情感受到多方面的影响，传统的情感分析方法考虑的因素不够全面和准确，导致情感识别的准确性不佳。

发明内容

基于此，本发明的目的是提供一种基于多模态数据的图像情感识别方法及系统，通过结合图像数据以及对图像数据进行描述的文本数据对图像的情感进行识别，提高情感识别的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于多模态数据的图像情感识别方法，所述图像情感识别方法包括：

获取训练样本数据；所述训练样本数据包括训练图像数据以及训练文本数据；

获取预设共享参数；

根据所述预设共享参数以及所述训练图像数据对卷积神经网络进行训练，获得训练过的卷积神经网络、训练美感特征、训练情感特征以及训练共享特征；

根据所述训练文本数据对循环神经网络进行训练，获得训练过的循环神经网络和训练文本特征。

采用TFN方法对所述训练美感特征、所述训练共享特征和所述训练文本特征进行融合，获得第一训练融合特征；

采用TFN方法对所述训练情感特征、所述训练共享特征和所述训练文本特征进行融合，获得第二训练融合特征；

根据所述第一训练融合特征和所述第二训练融合特征，采用交叉熵损失函数确定训练美感损失以及训练情感分布损失；

根据所述训练文本特征，采用交叉熵损失函数确定训练文本损失；

根据所述训练美感损失、所述训练情感分布损失以及所述训练文本损失确定所述训练样本数据的总损失；

根据所述训练样本数据的总损失采用反向传播方法重新确定所述预设共享参数，并分别调节卷积神经网络和循环神经网络中的参数；

判断迭代次数是否小于预设迭代次数，获得判断结果；

若所述判断结果表示所述迭代次数小于预设迭代次数，返回“根据所述预设共享参数以及所述训练图像数据对卷积神经网络进行训练，获得训练过的卷积神经网络、训练美感特征、训练情感特征以及训练共享特征”步骤；

若所述判断结果表示所述迭代次数大于或等于预设迭代次数，将所述训练过的卷积神经网络确定为训练好的卷积神经网络，将所述训练过的循环神经网络确定为训练好的循环神经网络；

获取待识别数据；所述待识别数据包括待识别图像以及所述待识别图像对应的待识别文本数据；

将所述待识别文本数据输入所述训练好的循环神经网络，获得待识别文本特征；