[发明专利]一种面向恶劣天气图像的细粒度分类方法

说明书

本发明公开了一种面向恶劣天气图像的细粒度分类方法，提出了一种基于通道注意力的改进残差网络。首先，使用不同方式对天气数据集进行数据增广，其次采用合适的残差网络对天气场景进行特征提取，最后采用通道注意力机制对判别性特征加以关注。采用数据增广和基于通道注意力的改进残差网络实现天气图像细粒度方法，一方面解决了现有的恶劣天气精细粒度的分类困难，另一方面，解决了不同数据集的数据不均衡性导致的分类任务复杂的问题。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种面向恶劣天气图像的细粒度分类方法。

背景技术

天气对于人们工作和生活中的各个方方面面均发挥着至关重要的影响和作用，无论是工业生产经济活动，社会行政活动，军事行政活动及其他日常行政活动等，均可能受到这些因素的影响。了解不同的气候和天气情况就相当于掌握在未来的时间和方向。它直接影响了许多户外视觉系统的功能，包括户外视频监控、车辆辅助驾驶系统、机器人导航及无人驾驶。

基于室外场景图像的天气细粒度分类是计算机视觉中一个比较新的课题。不幸的是，有限的能见度经常发生在日常生活中(如大雨、大雾和大雪这些恶劣天气)，也已知目前对这方面的研究十分之少几乎没有针对性的研究。国内外关于细粒度图像分类多数研究集中在鸟类，汽车，飞机等具象的物体划分上，而对于细粒度的天气分类研究几乎空白。因此，需尝试对于天气问题进行细粒度划分，以满足更多的户外视觉任务或者人类日常活动。

随着深度学习方法在天气分类领域的广泛应用，深度神经网络能够有效提取恶劣天气中的特征，并进行分析替代了传统人为定义的方式。但目前现有的数据集中数据的极度不均衡造成的对于数据量少的类别学习不到更多有用的信息。同时，复杂的残差网络无法很好地完成天气分类任务。天气分类的关键就是使用完善的数据集和具有最佳参数设置的深度网络模型。

发明内容

本发明的目的是提供一种面向恶劣天气图像的细粒度分类方法，解决现有的恶劣天气精细粒度的分类困难，以及不同数据集的数据不均衡性导致的分类任务复杂的问题。

本发明所采用的技术方案是，一种面向恶劣天气图像的细粒度分类方法，具体包括以下步骤：

步骤1、采集图像，构建增广数据的精细粒度数据集；

步骤2、将增广数据的精细粒度数据集中数据作为训练样本；

步骤3、将训练样本输入ResNet20网络中，提取深度特征F；

步骤4、对深度特征F的原始通道信息重新规范，对通道的不同重要程度的进行标定，得到通道特征F_SE，通道特征F_SE的集合为特征集F＝(F_out1，...；F_outN)；

步骤5、将利用特征集F＝(F_out1，...；F_outN)输入到全连接层中，最后经softmax输出为标签L＝(l₁，l₂，...，l_N)训练恶劣天气细分类模型，通过该模型对恶劣天气图像的细粒度进行分类。

步骤1中构建增广数据的精细粒度数据集的具体过程为：

步骤1.1、原始数据集建立：

选用5个注释者来对multi-class weather dataset、Image2weather以及WeatherDataset-4三个数据集中的三类恶劣天气：雾、雨、雪进行精细粒度重标注，包含雾的精细粒度：大雾、小雾；雨的精细粒度：大雨、小雨；雪的的精细粒度：大雪、小雪，最终恶劣天气的数据集划分为Fine-grained_foggy_datasets；Fine-grained_rainy_datasets；Fine-grained_snowy_datasets共三个；

步骤1.2、增广数据集：