[发明专利]一种基于交叉空间池化策略的弱监督图像情感分类与定位方法

权利要求书

1.一种基于交叉空间池化策略的弱监督图像情感分类与定位方法，其特征在于，包括：

步骤1：基于全卷积网络ResNet-101，删除该全卷积网络的池化层和全连接层，利用1×1的卷积核对ResNet-101中conv5生成的特征图进行卷积操作，为每一个类别生成特定数量(k)的特征图；

步骤2：利用全局平均池化来提取每个特征图的全局信息；

步骤3：再通过最大池化操作来找到最大响应的特征图，最后生成一个维度为类别数的特征向量，每一个向量的值记为S^c；

其中，表示F′中第c类的第j通道的特征，F′为通过1×1的卷积后的特征；k表示每一个类别生成特征通道的数量，c表示第c类情感，总的情感类别数为C，G_ave表示全局平均池化；

步骤4：初始化卷积神经网络权重参数，即在ImageNet上视觉识别的预训练模型权重值，分别设置全卷积层、交叉空间策略的学习率为0.0001和0.001；整个模型迭代训练30轮，每10轮，学习率下降10倍，设置decay为0.005，momentum为0.9；在训练中使用随机水平翻转和裁剪扩充数据来降低过拟合，最终，模型输入的图片大小为448×448；

步骤5：在每个batch的前向过程中，计算交叉熵损失值

其中N是指batch的大小，表示一次前项过程中训练的样本数，y_i代表第i个训练样本的真实情感标注；S^l是步骤3中定义的特征向量第l个元素的值，代表第l个类别在网络中的得分；

步骤6：根据计算的损失函数值，在反向传递中使用随机梯度下降来更新权重参数；

步骤7：重复步骤5到步骤6，直到完成一轮训练，根据测试数据集，进行模型测试；

步骤8：重复步骤7，直到模型达到最优或完成总迭代轮数；

步骤9：生成图像情感激活图