[发明专利]一种全天空极光图像分类与关键局部结构定位方法及系统

权利要求书

1.一种全天空极光图像分类与关键局部结构定位方法，其特征在于，所述全天空极光图像分类与关键局部结构定位方法的训练阶段：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；使用图像块尺度模型将图像标签转化为区域边界框标签；在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位；

所述全天空极光图像分类与关键局部结构定位方法包括以下步骤：

步骤一、训练阶段：

(1)在带有图像标签的全天空极光图像数据库上，构建图像块尺度模型；构建语义码书；根据语义码书构建k近邻图像块概率密度估计器；

(2)使用图像块尺度模型将图像标签转化为区域边界框标签：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；对于超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；使用图像块尺度模型估计上一步选出的每个图像块相对其标记图像类别的概率密度；通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度，根据超像素的概率密度构建属于其图像类别的特有超像素集合，和同时属于该类别和其他图像类别的共有超像素集合；利用主成分分析方法分别对特有超像素区域和共有超像素区域进行旋转，使它们的最大变化方向为水平方向；

分别对属于图像类别特有和共有超像素进行分级聚类，得到特有和共有两组多尺度图像区域集合；通过对多尺度图像区域集合中的每个图像区域取包含它的最小矩形边界框，将每幅图像的图像类标转换为一组属于该图像标记类别特有区域边界框和一组共有区域边界框；通过对任意类别t∈{1，2，…，T}的特有边界框区域标记为类别t，对共有边界框区域标记为0，0表示背景，将全天空极光图像数据库中T个图像类别标签转化为T+1个边界框区域类别标签；

(3)在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；

步骤二、推理阶段：

(1)使用图像区域尺度模型对输入的全天空极光图像进分类和关键局部结构的边界框级粗定位：基于无监督学习的候选区域提取方法，对输入的全天空极光图像提取候选区域；输入全天空极光图像和候选区域边界框，图像区域尺度模型对所有的候选区域进行分类，得到每个边界框区域的类别及其概率；通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置；

(2)使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；构建全天空极光图像的区域极光检测模型；使用区域极光检测模型检测超像素集合中的每个超像素是否包含极光，并将不包含极光的超像素从超像素集合中删除；对包含极光超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；输入表征包含极光超像素的图像块集合和极光图像预测类别，用图像块尺度模型估计每个图像块的概率密度；

通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度；根据超像素的概率密度选择属于预测极光类别的特有超像素，作为像素级关键局部结构；融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置。