[发明专利]基于自监督机制和区域建议网络的场景分类方法及装置

权利要求书

1.一种基于自监督机制和区域建议网络的场景分类方法，其特征在于，包括：

(1)获取目标场景分类图像数据集，根据所述目标场景分类图像数据集的标签文件分别将所述目标场景分类图像数据集分为训练图片集和测试图片集；

(2)构建用于提取特征的基网络、用于提取局部具有可判别信息区域的区域建议网络以及用于合并不同尺度特征的联合网络；

(3)采用自监督机制对网络的损失函数进行优化设计，其中，所述损失函数包括三个部分，共同作用于所述基网络、所述区域建议网络及所述联合网络的参数更新；

(4)使用所述训练图片集对所述基网络、所述区域建议网络以及所述联合网络的参数进行交替训练；

(5)将所述测试图片集输入已经训练好的所述基网络、所述区域建议网络以及所述联合网络中，得到最终的场景分类概率。

2.根据权利要求1所述的方法，其特征在于，在步骤(2)中，构建用于提取特征的基网络，包括：

构建用于提取图片深层特征的基网络，其中，对于任一张原始图片，通过所述基网络得到关于所述原始图片的两个中间特征：最后一层卷积层输出的特征图F_p，全局池化层输出的全局特征F_g，并且得到使用所述全局特征进行分类的场景类别概率R_g，R_g为C×1的向量，C表示所述目标场景分类图像数据集中的场景类别的数量。

3.根据权利要求2所述的方法，其特征在于，在步骤(2)中，构建用于提取局部具有可判别信息区域的区域建议网络，包括：

所述区域建议网络共享所述基网络的特征图F_p，经过一个卷积层使所述特征图F_p变换坐标空间，再经过一个卷积层，输出以所述特征图F_p中每个像素点为中心、尺寸为h×w的局部区域的得分S，其中，h表示该局部区域高度，w表示该局部区域宽度；

根据所述区域建议网络中各局部区域的得分S，使用非极大值抑制得到所述原始图片中最具有判别性信息的M个目标局部区域，将各所述目标局部区域裁剪并调整分辨率后，输入所述基网络中得到全局池化层输出的M个局部特征F_r，并且得到M个局部区域的场景类别概率R_r,R_r为C×1的向量。

4.根据权利要求3所述的方法，其特征在于，构建用于合并不同尺度特征的联合网络，包括：

所述联合网络由全连接层和softmax组成，将所述全局特征F_g和所述M个局部特征F_r进行联合，得到最终的预测场景类别结果R，R为C×1的向量。

5.根据权利要求4所述的方法，其特征在于，步骤(3)包括：

(3.1)使用类别分类损失对所述基网络的参数进行修正，其中，所述类别分类损失描述了分别利用全局特征和局部特征进行分类时预测结果与真实类别之间的偏差；

(3.2)使用排序损失对所述区域建议网络的参数进行修正，以反映所述区域建议网络提取的局部区域得分与局部区域判别性之间的一致性关系；

(3.3)对于所述联合网络，设计联合损失表示全局特征和局部特征进行联合之后预测结果与真实类别之间的偏差。

6.根据权利要求5所述的方法，其特征在于，所述类别分类损失为：其中，Y为真实场景类别，C()为交叉熵损失函数，R_g为由所述基网络得到的场景类别概率，R_r表示由所述区域建议网络得到的场景类别概率，M表示由所述区域建议网络得到的目标局部区域的个数。