[发明专利]一种基于端到端神经网络的高光谱图像显著图生成方法

说明书

本发明提供了一种基于端到端神经网络的高光谱图像显著图生成方法，包括S1：图像预处理；S2：构建端到端的神经网络模型提取空谱特征；S3：神经网络的训练；端到端的神经网络模型结构为W2型卷积神经网络，神经网络模型包括左右两支编码通道和中间一支解码通道分别为空间编码模块、光谱编码模块和解码模块，模型还包括用于生成预测显著图的结果预测模块。本发明通过构建的端到端的神经网络模型，能够提取图像的深层空谱特征，并直接生成预测显著图，节省了计算资源的消耗，提高了特征的鲁棒性。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于端到端神经网络的高光谱图像显著图生成方法。

背景技术

高光谱图像是由数十或数百幅连续的窄波段图像组成，能够同时捕获目标场景的空间维和光谱维信息，被称为“数据立方体”。随着高光谱成像技术的发展，高光谱成像仪能够采集具有更高空间分辨率和光谱分辨率的高光谱数据。目前，高光谱图像已在众多领域中得到应用并取得成效，例如地物遥感、精准农业、医学诊断、目标检测等。

显著图是一种模拟人类视觉注意机制的模型，描述了现实场景中人眼关注的突出对象或区域，也称为“感兴趣区域”。显著性检测是通过算法来模拟视觉注意机制，提取图像中的显著性区域并生成显著图。在传统方法中，主要利用图像的颜色、纹理等初级特征，计算局部或全局对比度，从而获得区域的显著性。近年来，在计算机视觉中神经网络模型得到深入研究，用于提取图像的深层特征，基于这些深层特征在显著性检测中能够生成质量更好的显著图。

高光谱图像具有丰富的空间和光谱信息，但由于光谱数据具有较高的维度以及相关性，处理难度较大，因而现有的高光谱图像显著图生成方法大都基于浅层光谱特征，未能充分利用高光谱图像的空谱信息；而现有的基于深层特征的方法，一般先采用神经网络提取特征再通过显著性检测生成显著图，采用两阶段过程会消耗更多计算资源，在网络训练和实用中较为复杂不够便捷灵活。

发明内容

本发明提供了一种基于端到端神经网络的高光谱图像显著图生成方法，首先对高光谱图像进行预处理，使得输入的图像规范化更适宜输入到模型中，再将处理后的图像数据输入端到端的神经网络模型中进行空谱特征的提取，获取高光谱图像的深层空谱特征，并直接生成预测显著图，最后将生成的预测显著图输入到神经网络中，通过计算预测显著图与真值显著图之间的损失训练神经网络模型。

本发明提供了一种基于端到端神经网络的高光谱图像显著图生成方法，方法包括如下步骤：

步骤S1：图像预处理，对初始高光谱图像进行预处理，得到处理后的图像数据输入端到端的神经网络中；

步骤S2：深层空谱特征的提取，构建端到端的神经网络模型，将经过预处理得到的高光谱图像数据输入到所述神经网络模型中，提取空间特征和光谱特征并将两种特征进行融合，进行结果预测并将预测结果融合获得最终的预测显著图；

步骤S3：神经网络模型的训练，构建的训练数据集，对高光谱图像数据进行数据扩充，并输入到网络模型中，利用损失函数计算预测显著图与真值显著图的损失，优化参数训练神经网络。

进一步的，步骤S1中，所述图像的预处理为计算采样得到的初始高光谱图像数据的均值和方差，并归一化，得到处理后的高光谱数据。

进一步的，步骤S2中所述端到端神经网络模型包括空间编码模块、光谱编码模块、解码模块以及结果预测，所述空间编码模块和所述光谱编码模块分别与所述解码模块连接，所述空间编码模块用于编码空间特征，所述光谱编码模块用于编码光谱特征，所述解码模块用于融合输入的空间特征和光谱特征输出预测显著图，并输入到所述结果预测模块中。

进一步的，所述空间编码模块与所述解码模块中卷积块的各卷积层结构相同，各卷积层均包括conv3×3卷积、批归一化层bn和激活函数relu，上层卷积层之间通过下采样层downsample连接，下层卷积层之间通过上采样层upsample连接，所述卷积块整体构成U型结构。