[发明专利]基于目标语义和注意力机制的图像场景分类方法及装置

权利要求书

1.一种基于目标语义和注意力机制的图像场景分类方法，其特征在于，包括：

(1)获取自然图像场景分类数据集，并按照所述数据集的标准划分训练集和测试集；

(2)计算所述训练集中每类场景的目标概率分布，以及在场景图片出现某类目标时，该场景图片属于某类场景的后验概率；

(3)构建基于注意力机制的场景分类网络，使用所述训练集对所述场景分类网络进行训练，并给定所述测试集中的待测图片，使用训练好的场景分类网络计算所述待测图片的场景分类概率；

(4)对于所述待测图片，利用预训练好的目标检测网络检测所述待测图片中存在的目标，并结合所述后验概率得到场景的修正系数；

(5)利用所述修正系数乘以所述场景分类概率，得到修正后的场景分类概率，排序后得到具有最高分类概率的场景类别；

步骤(3)包括：

(3.1)构建基于注意力机制的场景分类网络，利用预训练好的基网络初始化所述场景分类网络，使用所述训练集对所述场景分类网络进行训练；

(3.2)给定所述测试集中的待测图片，利用训练好的场景分类网络对所述待测图片所属的场景类别进行预测，得到每类场景的类别概率；

步骤(3.1)包括：

使用融合通道注意力和空间注意力的注意力模块嵌入基网络，得到基于注意力机制的场景分类网络，其中，所述注意力模块的输入为原始特征图，经过三个并行的卷积层后，将得到的三个特征图相加，得到中间特征图，所述中间特征图经过通道注意力模块得到第一特征图，经过空间注意力模块得到第二特征图，将所述第一特征图与所述第二特征图相加得到输出特征图；

其中，所述通道注意力模块的输入为所述中间特征图，分别采用最大池化和平均池化对所述中间特征图进行压缩，得到两个通道描述子，然后经过两个全连接层对通道描述子进行激活操作，将得到的结果相加，并将相加后的结果填充到所述中间特征图的大小，作为通道权重，最后将通道权重与所述中间特征图对应位置相乘，得到通道注意力模块的第一特征图；

所述空间注意力模块的输入为所述中间特征图，经过两个并行的膨胀卷积，将两个膨胀卷积后的特征图进行串联操作，再经过一个卷积层，得到空间注意力权重，最后将所述空间注意力权重填充到所述中间特征图的大小后，与所述中间特征图对应位置相乘，得到空间注意力模块的第二特征图；

步骤(4)包括：

(4.1)对于所述待测图片，利用预训练好的目标检测网络检测所述待测图片中包含的目标类别；

(4.2)基于所述待测图片中包含的目标类别及所述后验概率得到场景的修正系数；

由j∈[1,C]得到第j类场景s_j的修正系数t_j，C表示场景类别数量，α(o_i)为权重系数，反映所述待测图片中是否包含第i类目标o_i，p(s_j|o_i)表示所述待测图片出现目标o_i时，所述待测图片属于场景s_j的后验概率。

2.根据权利要求1所述的方法，其特征在于，步骤(2)包括：

(2.1)对所述训练集中的每张图片进行滑动取样，将每张图片分为若干图像块；

(2.2)将各图像块输入到预训练好的基网络进行目标识别，得到各图像块的目标类别概率，对所有图像块的目标类别概率进行求和，得到每张图片的目标概率分布，进而得到所述训练集中每类场景的目标概率分布；

(2.3)基于所述训练集中每类场景的目标概率分布得到在图片出现某类目标时，该图片属于某类场景的后验概率。

3.根据权利要求2所述的方法，其特征在于，由确定第j类场景s_j中目标的概率分布，其中，N_j表示所述训练集中第j类场景的图片数量，f_o(x_i)表示属于第j类场景s_j的第i张图片x_i的目标概率分布。