[发明专利]视觉情感识别方法

权利要求书

1.一种视觉情感识别方法，其特征在于，包括：

从图像数据中提取情境感知的图像特征表示，包括整幅图片的全局特征信息、以及感兴趣人物所在区域的局部特征信息；

利用注意力机制，采用GRU单元，对图像数据中包含的感兴趣人物的情感状态标签以及提取到整幅图片的全局特征信息进行联合建模；

结合联合建模的结果与感兴趣人物所在区域的局部特征信息，获得初步预测的情感状态标签，再构建输出过滤器，获取初步预测的情感状态标签在所有类别上的概率分布，最终通过最大的概率分布计算出每一个时间步的预测情感状态标签类别，综合所有时间步的预测情感状态标签类别，得到感兴趣的人物所包含的多个情感状态；

其中，利用注意力机制，采用GRU单元，对图像数据中包含的感兴趣人物的情感状态标签以及提取到整幅图片的全局特征信息进行联合建模包括：

利用注意力机制，采用GRU单元，计算图像全局特征信息的表示向量：

M_t＝tanh(W_cI_c+W_hh_t-1)

式中，M_t为一个中间量；α_t为注意力矩阵，它的第i行表示为α_ti，i＝1，2，...，m²；W_c，W_h，W_a均为需要训练的模型参数，h_t-1为GRU单元t-1时间步的隐状态；I_ci表示全局特征信息I_c的第i个子区域的特征信息，m²表示子区域总数；

将GRU单元t时间步的隐状态h_t视为查询，I_c视为关键字，从而在整幅图像的不同区域上计算注意力矩阵α_t，c_t表示根据注意力矩阵计算的图像每个区域特征的加权融合结果，也即图像全局特征信息的表示向量；

对包含的感兴趣人物的情感状态标签做词嵌入用于GRU单元的输入：

emb(y_k)＝E_k·y_k

式中，矩阵E是预训练的词向量，E_k是矩阵E中第k个单词的词向量，emb(y_k)表示标签y_k的词向量表示；

根据图像全局特征信息的表示向量c_t与标签的词向量表示，采用GRU单元联合建模：

h_t＝GRU(h_t-1，[emb(y_t-1)；c_t])

式中，[emb(y_t-1)；c_t]表示向量emb(y_t-1)与c_t的拼接，emb(y_t-1)是指标签y_t-1的词向量表示，c_t是图像全局特征信息的表示向量；

利用注意力机制，结合联合建模的结果与感兴趣人物所在区域的局部特征信息，获得初步预测的情感状态标签包括：

对感兴趣人物所在区域的局部特征信息I_b做平均池化操作：

b＝avg(I_b)

根据联合建模的结果h_t与平均池化操作结果b，计算初步预测的情感状态标签o_t：

o_t＝W_of(W_hh_t+W_bb)

式中，avg代表平均池化操作，f代表非线性激活函数，W_o，W_h，W_b代表相应的模型参数。