[发明专利]一种融合多尺度信息的图片情感识别方法

权利要求书

1.一种融合多尺度信息的图片情感识别方法，其特征在于：

通过ViT网络提取图片局部与局部之间的相关性的小尺度情感特征；

通过ResNet网络提取图片的深度全局情感特征；

采用KL损失函数和交叉熵进行图片情感识别学习；

将局部特征和全局特征融合进行多任务情感识别，包括主导情绪识别任务和标签分布学习预测任务；

该方法主要包括以下步骤：

图片预处理：将数据集中的图像统一尺寸，然后使用随机裁剪和水平翻转数据增强方法进行数据增扩；

标签预处理：使用标签分布表征图片数据，将数据集中的原始多人投票分值进行归一化等处理，作为分布学习真实值；主导情绪标签作为分类学习真实值；

局部特征提取：采用在ImageNet上预训练的ViT网络进行小尺度情感特征的提取；

全局特征提取：采用基于残差结构的ResNet卷积架构进行全局大尺度情感特征的提取；

特征融合：将步骤（3）中提取的1024维特征和步骤（4）提取的1024维特征进行特征层融合，拼接成2048维特征；

图片情感识别：将（5）中融合后的特征输入全连接层，获得图片的主导情绪识别结果和标签分布预测结果；

模型训练：以端到端方式训练，使用KL损失函数和交叉熵进行学习；

结果验证：在大型公开数据集进行验证，与各项指标相比得出实验结果，并进行消融实验证明方法的合理性。

2.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（1）中，将数据集图像统一尺寸为500*500，并进行随机裁剪为224*244尺寸，同时以0.5的概率进行水平翻转，10%自动对比度改变图像颜色，增强数据，提高训练效果。

3.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（2）中将数据集的多人对八类情绪的投票的原始数据进行归一化处理，获得图片情感分布标签，进行标签分布学习；将八类情绪中投票最多的类别作为主导情绪，进行情绪分类。

4.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（3）中，特征提取的局部通道使用ViT网络进行特征提取，从而能够学习到局部信息与局部之间的相关性，表征图片的情感区域，获得小尺度的情感特征。

5.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（4）中，特征提取的全局通道使用基于残差结构的ResNet卷积架构进行图片整体视觉特征的学习，增加表征的深度，获得大尺度全局特征。

6.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（5）中，将局部特征和全局特征在输入全连接层前进行特征层融合，拼接成包含多尺度信息的情感特征向量，增加图片情感识别准确率。

7.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（6）中，由融合的2048维特征经过全连接层，同时获取情感识别多任务结果，包括主导情绪识别结果和标签分布预测结果。

8.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（7）中，使用端到端的训练方式，初始学习率为0.001，每10个回合除以10，总回合数为50，输入为数据集图片，直接输出图片情感识别的结果，减少人工操作的复杂度。

9.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（7）中，使用衡量预测分布与标记分布不一致导致的信息损失的相对熵KL损失和交叉熵CrossEntropy损失进行学习，通过优化KL损失学习视觉情感的分布，通过优化Cross Entropy损失学习主导情绪分类，实现多任务的同时优化提升。

10.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（8）中，在两个大型公开数据集上进行测试，分别使用距离度量指标和相似性度量指标进行验证，包括Chebyshev距离、Clark距离、Canberra度量、KL散度、Cosine系数和Intersection相似性；并进行消融实验验证有效性。