[发明专利]视觉情感识别方法

说明书

本发明公开了一种视觉情感识别方法，包括：从图像数据中提取情境感知的图像特征表示，包括整幅图片的全局特征信息、以及感兴趣人物所在区域的局部特征信息；利用注意力机制，采用GRU单元，对图像数据中包含的感兴趣人物的情感状态标签以及提取到整幅图片的全局特征信息进行联合建模；结合联合建模的结果与感兴趣人物所在区域的局部特征信息，获得初步预测的情感状态标签，再构建输出过滤器，获取初步预测的情感状态标签在所有类别上的概率分布，最终计算出每一个时间步的预测情感状态标签类别。该方法结合全局和局部信息，从而得到更加全面的特征表示；另外，本发明方法对标签和图像特征进行联合训练，从而达到解决标签之间关联性和共现性的问题。

技术领域

本发明涉及深度学习，视觉情感识别以及多标签分类领域，尤其涉及一种视觉情感识别方法。

背景技术

视觉情感识别(Visual Emotion Recognition)是计算机视觉领域一个特别重要的组成部分和研究领域。它的任务是对给定图片中的人物作情感状态分类，这在很多领域有着广泛的应用场景，比如智能物联网(IloT)，在线教育，视频情感分析，政治选举预测等。

目前，关于视觉情感分类的方法主要有以下方法：

1)基于人脸表情识别的方法。

基于人脸表情识别的方法主要通过传统的特征工程方法，或者结合深度学习采用不同的神经网络结构来提取人的面部表情特征，然后采用一些分类方法对其进行分类，一般将其分为6大类(高兴、惊讶、悲伤、愤怒、厌恶、恐惧)，这最初是由美国Ekman教授定义的。一些进一步的研究方法也将人体姿态特征等作为补充信息进行考虑提升情感分类的准确度。

2)基于整幅图片信息识别的方法。

不同于基于人脸表情识别的方法，基于整幅图片信息识别的方法将整幅图片作为输入，训练一个情感状态分类器。一般粗略分为2类(积极，消极)或3类(积极，消极，中性)。

在实际场景中，单个标签往往不足以充分地形容图片中人物的情感状态，比如一个人可以既惊讶又高兴。上述视觉情感分类方法都是集中于挖掘图像中的全局或局部信息，来进行单标签多分类或多标签多分类。而在更实际的多标签分类中，忽略了标签之间的关联性，比如愤怒和厌恶之间的相似性要大于高兴和悲伤。因此缺乏视觉情感分类中的情感关联性的考虑。

发明内容

本发明的目的是提供一种视觉情感识别方法，可以结合全局和局部信息，从而得到更加全面的特征表示。另外，本发明方法对标签和图像特征进行联合建模，从而达到解决标签之间关联性和共现性的问题。

本发明的目的是通过以下技术方案实现的：

一种视觉情感识别方法，包括：

从图像数据中提取情境感知的图像特征表示，包括整幅图片的全局特征信息、以及感兴趣人物所在区域的局部特征信息；

利用注意力机制，采用GRU单元，对图像数据中包含的感兴趣人物的情感状态标签以及提取到整幅图片的全局特征信息进行联合建模；

结合联合建模的结果与感兴趣人物所在区域的局部特征信息，获得初步预测的情感状态标签，再构建输出过滤器，获取初步预测的情感状态标签在所有类别上的概率分布，最终通过最大的概率分布计算出每一个时间步的预测情感状态标签类别，综合所有时间步的预测情感状态标签类别，得到感兴趣的人物所包含的多个情感状态。

由上述本发明提供的技术方案可以看出，针对图片中的人物，采用情境感知的图像特征提取方法，同时获得了整幅图片的全局信息与关于人物部分的局部信息。另外，通过将多标签分类问题转化成序列生成问题，在每个时间步预测可能性最大的标签，计算过程中通过对标签空间和图片特征空间的联合建模，能够解决标签之间的关联性，引入注意力机制让不同时间步的预测更为准确。

附图说明