[发明专利]一种全天空极光图像分类与关键局部结构定位方法及系统

说明书

本发明属于数据识别及数据表示技术领域，公开了一种全天空极光图像分类与关键局部结构定位方法及系统，训练阶段：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；使用图像块尺度模型将图像标签转化为区域边界框标签；在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位。本发明用带有图像级标签的全天空极光图像作为训练样本，获得了良好的图像级分类与像素级关键局部结构定位效果，可用于全天空极光图像中极光形态与空间位置演变过程的自动分析。

技术领域

本发明属于数据识别及数据表示技术领域，尤其涉及一种全天空极光图像分类与关键局部结构定位方法及系统。

背景技术

极光是由来自地磁层或太阳的高能带电粒子流使高层大气分子或原子激发而产生，它反映了太阳活动与地球磁层的变化，是监测和探索近地空间物理过程的重要手段。在众多极光观测设备中，地面光学全天空成像仪能够捕捉极光的二维形态信息，同时具备良好的空间和时间分辨率，其拍摄的全天极光图像被广泛用于研究极光的物理演变过程。由于极光形态与特定的磁层状态和动态活动相关，并受太阳风参数影响，因此以全天空极光图像分类与关键局部结构定位技术为核心的极光自动分析系统不仅有助于研究极光在时间和空间的物理演变过程，而且能够实时预测太阳活动，从而避免由空间的强磁干扰造成的损失，如：磁层亚暴对通信系统、电力供应系统以及全球定位系统的损害。

全天空极光图像分类指辨别图像中极光的形态类型，关键局部结构定位指分割出决定极光形态的局部区域。然而，在全天空极光图像自动分析领域中，现有全天空极光图像分类和分割等自动分析技术不能同时实现极光图像分类与关键局部结构定位。在计算机视觉领域中，弱监督语义分割技术将图像分割成若干个互不相交的区域，并给每个区域赋予一个类别，分割模型的训练只需要弱标记信息，如图像级标签。因此，使用与极光图像分类方法同样的训练样本，弱监督语义分割技术能够同时完成全天空极光图像的分类与关键局部结构定位。然而，极光图像具有独特的性质，即极光结构的大尺度变化会导致形态类型的改变。但现有的绝大多数弱监督语义分割方法假设：如果两个物体具有相似的外观，则这两个物体属于同一类别，而不考虑尺度变化。因此，绝大多数弱监督语义分割方法无法直接用于全天空极光图像的自动分析。目前，可直接应用于全天空极光图像自动分析的弱监督语义分割方法是基于深度卷积神经网络实现的。现有技术一“Learning deep features fordiscriminative localization”(IEEE International Conference on Computer Visionand Pattern Recognition:2016, 39(3):2921-2929)提出了CAM方法，该方法将分类网络的输出类别通过权值映射到特征图上，得到类别特异的激活图，再将激活图上采样至原图尺寸，得到关键局部结构的位置。由于该分类网络只能定位到最显著的局部结构，所以无法准确的实现关键局部结构定位；另外，该方法只提取全局特征，不能捕捉细节差异，所以不能准确实现全天空极光图像的分类。现有技术二“Weakly supervised semanticsegmentation using superpixel pooling network”(AAAI Conference on ArtificialIntelligence:2017:4111-4117)提出了SP-CAM方法，该方法通过判断超像素的类别实现图像的分类与定位。由于该方法只提取了局部特征，而无法捕捉全局特征，使其分类与定位的准确率降低。

综上所述，现有技术存在的问题是：现有的全天空极光图像的分类和分割等技术不能同时实现极光图像的分类与关键局部结构定位；绝大多数弱监督语义分割方法无法直接用于全天空极光图像的自动分析；可直接应用到全天空极光图像的弱监督语义分割方法无法同时捕捉整体形态特征和局部细节差异，导致分类与关键局部结构定位准确率均偏低。

发明内容