[发明专利]一种面向恶劣天气图像的细粒度分类方法

权利要求书

1.一种面向恶劣天气图像的细粒度分类方法，其特征在于，具体包括以下步骤：

步骤1、采集图像，构建增广数据的精细粒度数据集；步骤1中构建增广数据的精细粒度数据集的具体过程为：

步骤1.1、原始数据集建立：

选用5个注释者来对multi-class weather dataset、Image2weather以及WeatherDataset-4三个数据集中的三类恶劣天气：雾、雨、雪进行精细粒度重标注，包含雾的精细粒度：大雾、小雾；雨的精细粒度：大雨、小雨；雪的精细粒度：大雪、小雪，最终恶劣天气的数据集划分为Fine-grained_foggy_datasets；Fine-grained_rainy_datasets；Fine-grained_snowy_datasets共三个；

步骤1.2、增广数据集：

分别取每个数据集中的两类图像数量接近或者相等，使用翻转、移位、旋转、噪声、裁剪五种方法进行数据增广，获得增广数据的精细粒度数据集；

步骤2、将增广数据的精细粒度数据集中数据作为训练样本；

步骤3、将训练样本输入ResNet20网络中，提取深度特征F；

步骤4、对深度特征F的原始通道信息重新规范，对通道的不同重要程度的进行标定，得到通道特征F_SE，通道特征F_SE的集合为特征集F＝(F_out1，...；F_outN)；

步骤5、将利用特征集F＝(F_out1，...；F_outN)输入到全连接层中，最后经softmax输出为标签L＝(l₁，l₂，...，l_N)训练恶劣天气细分类模型，通过该模型对恶劣天气图像的细粒度进行分类。

2.根据权利要求1所述一种面向恶劣天气图像的细粒度分类方法，其特征在于，步骤1.2具体过程为：翻转：水平翻转，垂直翻转，水平和垂直同时翻转；移位：向右移动100像素，且向下移动100像素两个方位；旋转：旋转角度设置为60，-60，45，-45，90，-90，200，-200，240，-240；噪声：加入高斯噪声；裁剪：随机大小的裁剪。

3.根据权利要求1所述一种面向恶劣天气图像的细粒度分类方法，其特征在于，步骤2具体过程为：将增广数据的精细粒度数据集中数据分别进行原始情感标注值和身体标注值，获得标注的数据作为训练样本I为训练样本，l为样本标签，N为训练样本数。

4.根据权利要求1所述一种面向恶劣天气图像的细粒度分类方法，其特征在于，步骤3所述ResNet20网络是对ResNet34网络的简化，简化过程为：保留原始ResNet34的第一个卷积和池化操作只是将卷积核个数统一换为16；将4组残差模块中第1层的3个残差块保留，第二层的4个残差块去掉一个，第三层的6个残差块去掉三个，最后一层的3个残差块不用；对应的恒等残差块和卷积残差块换成对应残差块的个数，最终命名网络为ResNet20层。

5.根据权利要求1所述一种面向恶劣天气图像的细粒度分类方法，其特征在于，步骤4具体过程为：

步骤4.1、将能表征全局的空间方位信息压缩到通道描述符里，对于深度特征F＝[f₁，f₂，...f_C]，其维度为H×W×C，通过空间维H×W压缩F生成统计量则z中的第c个元素计算方法如下：

公式(1)中，z_c表示F的全局统计特征；f_c(i，j)表示(i，j)处的特征图；

步骤4.2、对C个通道降维再升维，进行瓶颈操作：在通道注意力网络的瓶颈结构中的两个全连接层后面分别插入一个非线性函数，两个非线性函数分别是ReLU和Sigmoid，来进行参数化门控机制操作，即参数为W₁的降低维度层，降维比为r，一个ReLU和参数为W₂的增加维度层，具体如下：

ω_c＝σ(W₂δ(W₁z_c)) (2)

公式(2)中：δ——激活函数，ReLU函数；σ——激活函数，Sigmoid函数；——两个全连接层的权重；

步骤4.3、学习到的这一些权重就相当是对原始通道信息的重新规范，加到原始通道上，也就是完成通道的不同重要程度的标定，会通过一个乘法操作完成这个目的，则各通道的特征表示如下：

F_SE＝ω_n·f_c (3)。