[发明专利]一种基于强化学习的双流特征融合图像识别方法

权利要求书

1.一种基于强化学习的双流特征融合图像识别方法，其特征在于，所述方法包括下述步骤：

(1)生成形状数据集：

对每张图像，输入到图像转换模型中，输出对应的形状相似，但纹理不同的n张图像，转换后的n张图像的标签都和输入图像的标签相同，n为预设值；

(2)训练纹理基础模型和形状基础模型：

(2.1)分别对原始数据集和形状数据集的每一个图像进行数据增强：对于一张图像，在图像中的随机位置生成m个矩形框，框的边长大于图像边长的1/2，小于或等于图像的边长，裁剪后的图像的标签和原始图像的标签保持一致，m为预设值；

(2.2)使用裁剪后的图像来训练基础模型，其中纹理基础模型使用原始数据集训练，形状基础模型使用形状数据集训练；纹理基础模型和形状基础模型的结构一样，都是在ResNet50网络中的最后一个block之后新增加一个自适应平均池化层AdaAvgPool，自适应平均池化层用于将图像进行池化以减小特征图的尺寸，使用图像和标签训练基础模型，后续会使用基础模型提取特征并对图像进行预测；

(3)训练纹理强化学习模型：

(3.1)读取图像image_global和对应的类别标签c，初始化一个矩形框box，尺寸和读取的图像大小一样；

(3.2)如果矩形框的大小等于图像的大小，则跳转到(3.3)；如果矩形框小于图像大小，则根据框的大小对图像进行裁剪，然后上采样到和原始图像大小一样的尺寸，得到处理之后的图像image_local；

(3.3)将image_local输入到纹理基础模型中得到特征Feature和分类预测概率pred；

(3.4)将特征Feature输入到纹理强化学习模型中，纹理强化学习模型输出是动作空间中各个动作的Q值；

(3.5)通过探索和开发两种策略得到确定的动作，探索和开发二者选择其中一种，探索是在所有的动作中随机选择一个动作；开发是选择(3.4)中得到的Q值最大值对应的动作作为选定动作，选定探索和开发中的一种后确定动作action，并根据选定的action和变化系数α改变框的大小或位置，得到新的矩形框box′；

(3.6)使用(3.5)得到的新矩形框box′，按照(3.2)(3.3)提取特征的过程得到另一个特征和预测概率Feature′，pred′；

(3.8)根据pred、(3.6)中的pred′和(3.1)中的c，进行如下判断：如果pred在类别c上的预测分数比pred′在类别c上的预测分数高，则奖励reward＝-1，如果pred在类别c上的预测分数比pred′在类别c上的预测分数低，则奖励reward＝1；

(3.9)根据(3.8)中得到的奖励reward更新(3.5)中选定动作action的Q值Q_target，更新的方式为Q_target＝reward+γ*max(Q(s，a))，其中Q(s，a)表示s状态下，即特征Feature采取action动作之后的Q值，γ为每一次Q值更新的学习率，γ为预设值；

(3.10)将特征Feature和(3.9)中得到的Q_target存储到经验池中；

(3.11)将新的矩形框作为当前的框box＝box′，将新的特征作为当前的特征Feature＝Feature′，将新的分类预测概率作为当前的分类预测概率pred＝pred′，重复(3.4)到(3.11)的过程至预设次数，当经验池中装到预设数量的样本后，从经验池中随机选择成对的Feature和Q_target的对应数据，记作Feature_s和Target，将特征输到纹理强化学习模型，输出得到动作的Q值，记作Q_eval，将Target和Q_eval之间的差距作为loss，并反向传播，更新参数；

(4)训练形状强化学习模型：

(4.1)按照(3)中的步骤，使用形状数据集训练形状强化学习模型，对于形状强化学习模型，其训练模型的过程和纹理强化学习过程一样，且形状强化学习模型和纹理强化学习模型结构也一样；

(5)利用上述训练好的两个强化模型对待检测测试图像进行双流的预测和融合，包括如下子步骤：

(5.1)读取待检测图像，初始化一个矩形框box，尺寸和待检测图像大小一样；

(5.2)对待检测图像进行步骤(3.2)(3.3)的特征提取，得到框对应位置的特征Feature和分类预测概率pred；

(5.3)将(5.2)得到的特征输入到纹理强化学习模型中，输出所有动作的得分Q值，按照开发的策略选出Q值最大的动作并根据选定的动作改变框的大小和位置；

(5.4)重复(5.2)(5.3)的过程至一定次数，重复的次数和(3.12)中的重复过程类似和矩形框的变化率有关；得到最后一次变化后的特征F_texture；

(5.5)类似(5.1)到(5.4)的过程测试纹理强化学习模型，得到F_shape；

(5.6)将两种不同的特征F_texture和F_shape输入到融合模型后输出为最终的预测概率p_mix，其中融合模型是一个可训练模型，目的是将F_texture和F_shape融合之后再进行分类；

(5.7)p_mix对应概率最大的类别就是对待检测图像预测的类别。