[发明专利]弱监督学习引导的协同显著性检测方法

权利要求书

1.一种弱监督学习引导的协同显著性检测方法，其特征在于，步骤如下：

步骤一：搭建组类别激活图GCAM网络的架构，将包含有公共类别显著目标的图像组输入GCAM网络，生成每幅图像的组类别激活图GCAM；

所述GCAM网络包含N个并联的子网络，N个子网络设置一致且模型参数彼此共享；N个子网络的输出进行逐像素相加得到融合特征向量，融合特征向量通过第二全连接层和softmax分类器，获得分类结果为公共类别标签；

所述步骤一中生成每幅图像的组类别激活图GCAM的方法为：通过第二全连接层FC²的输出结果对子网络的特征提取部分中任意特征层的输出特征矩阵进行求偏导；沿着输入图像各自的子网络反向传播至该特征层，得到该特征层的梯度矩阵并计算其各通道的权重；将各通道权重与该特征层的输出特征矩阵进行逐像素相乘，利用激活函数得到图像组中每幅图像I_n的组类别激活图GCAM；实现公式为：

其中，C表示公共类别数；S∈R^C是图像组从第二个全连接层FC²中输出的得分向量，N表示图像组中图像的总数，S_c表示公共类别c的得分；Aⁿ∈R^W×H×K表示图像I_n对应的第n个子网络的最后一个卷积层输出的特征矩阵，W、H和K分别表示特征矩阵Aⁿ的宽、高以及通道数；A^nk∈R^W×H表示特征矩阵Aⁿ的第k个通道；表示特征矩阵A^nk中坐标为(i,j)的像素；是公共类别c中特征矩阵A^nk的权重；ReLU(·)表示激活函数ReLU；表示公共类别c中图像I_n的组类别激活图GCAM；

步骤二：搭建主干网络的架构，图像组中的每幅图像依次送入主干网络进行处理，主干网络提取的特征与步骤一的组类别激活图GCAM相融合，得到每幅图像的协同显著图；通过GCAM网络和主干网络构建GWSCoSal模型；

步骤三：利用训练数据对GWSCoSal模型的GCAM网络以图像组的公共类别标签作为真值进行弱监督训练；

步骤四：利用训练数据对主干网络进行像素级训练；

步骤五：利用训练数据对GWSCoSal模型的GCAM网络和主干网络以端到端的方式进行联合训练，得到训练后的优化GWSCoSal模型；

步骤六：利用步骤五的优化GWSCoSal模型对现有的协同显著性数据集进行预测，生成预测的协同显著图。

2.根据权利要求1所述的弱监督学习引导的协同显著性检测方法，其特征在于，所述子网络为ImageNet数据集上预训练好的VGG16网络，子网络包括连接的特征提取部分和第一全连接层，特征提取部分是由5个依次连接的卷积组构成，每个卷积组中分别对应有2、2、3、3、3个尺寸大小一致的卷积层，卷积组之间设有最大池化层。

3.根据权利要求2所述的弱监督学习引导的协同显著性检测方法，其特征在于，所述N个子网络的输出进行逐像素相加的方法为：

其中，F₁¹、F₂¹、分别表示第一个子网络中第一个全连接层第二个子网络中第一个全连接层以及第N个子网络中第一个全连接层的输出结果；表示逐像素相加操作；FF表示融合后的特征向量；

所述GCAM网络一个子网络的结构为：

在生成GCAM的过程中，利用第二全连接层输出的结果对卷积层5_3输出的特征矩阵求偏导；沿着输入图像各自的子网络反向传播至卷积5_3层的特征层，得到卷积5_3层的特征层的梯度矩阵并计算其512个通道的权重；将各通道权重与最后一个卷积层的特征层的输出特征矩阵进行逐像素相乘，利用激活函数得到图像组中每幅图像I_n的组类别激活图GCAM。