[发明专利]多分支神经网络模型的弱监督细粒度图像分类方法

权利要求书

1.一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于，包括如下步骤：

步骤S1，对给定的细粒度图像数据集，按照一定的比例将其随机划分为训练集和测试集；

步骤S2，将划分好的数据集进行图像预处理；

步骤S3，将预处理后的图像输入局部区域定位网络，获得有潜在语义信息的局部区域图像；

其中，所述局部区域定位网络是对卷积神经网络的改进，是将卷积神经网络中的全连接层修改为全局平均池化层，将预处理后的图像输入到改进后的卷积神经网络中提取特征；

步骤S4，构建多分支神经网络模型，包括可变形卷积的残差网络和方向响应网络，其中可变形卷积的残差网络分别位于第一和第二分支中，两个分支的输入不同，方向响应网络作为第三分支；

所述可变形卷积的残差网络是对原始残差网络的改进，是通过利用可变形卷积层替换基准残差网络中的普通卷积层，构成可变形卷积的残差网络；

所述方向响应网络是对给定的卷积网络的改进，是将给定卷积神经网络中的普通卷积替换为方向响应卷积，构成方向响应网络；

步骤S5，将预处理后的图像和局部区域图像分别作为第一分支和第二分支的输入，通过可变形卷积的残差网络进行训练，分别计算交叉熵损失；

步骤S6，将局部区域图像作为输入，通过方向响应网络训练，计算交叉熵损失；

步骤S7，组合多分支神经网络模型中三个分支内损失和分支间损失，初始化权重系数，迭代优化分支内损失和分支间损失，直至收敛；

步骤S8，将测试集输入到优化后的多分支神经网络模型，提取不同分支的输出特征，输入到Softmax分类层，获得类别预测结果。

2.如权利要求1所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述可变形卷积的残差网络是对ResNet-50的改进，是将ResNet-50网络中conv5_x层的三个3×3卷积层替换为可变形卷积层，构成可变形卷积的残差网络。

3.如权利要求1或2所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述步骤S4中可变形卷积的残差网络中可变形卷积表示为：

(2)

在输入特征图s上使用网格进行采样，指位置处的特征，是位置的权重，即对应图像位置的特征，p_n是下标为n的图像位置，为偏移量。

4.如权利要求1所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述方向响应网络是对ResNet-18的改进，是将该网络中的普通卷积层替换为方向响应卷积ORConv，构成OR-ResNet-18网络。

5.如权利要求1或4所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：所述步骤S4中定义方向响应卷积为，为输入特征，是大小为的主动旋转滤波器，滤波器边长为U，通道数为O，在卷积过程中主动旋转O-1次产生O个通道的特征图，输出特征图，其中第k个通道计算为：

          (5)

其中，表示第o个方向的特征图，表示第o个方向旋转角为θ_k的主动旋转滤波器。

6.如权利要求1所述的一种多分支神经网络模型的弱监督细粒度图像分类方法，其特征在于：步骤S3的具体实现方式如下，

首先，将局部区域定位网络中Softmax层输出的预测概率映射回最后一个卷积层来产生类注意力图，定义属于某个类别c的类注意力图为：

(1)

在式（1）中，表示在第k个特征图上第c类的权重，表示第k个特征图上位置（x,y）的值；

然后根据类注意力图，在原图上基于自定义的灰度阈值框选出有潜在语义信息的局部区域，裁剪后获得局部区域图像。