[发明专利]一种基于端到端神经网络的高光谱图像显著图生成方法

权利要求书

1.一种基于端到端神经网络的高光谱图像显著图生成方法,其特征在于，方法包括如下步骤：

步骤S1：图像预处理，对初始高光谱图像进行预处理，得到处理后的图像数据输入端到端的神经网络中；

步骤S2：深层空谱特征的提取，构建端到端的神经网络模型，将经过预处理得到的高光谱图像数据输入到所述神经网络模型中，提取空间特征和光谱特征并将两种特征进行融合，进行结果预测并将预测结果融合获得最终的预测显著图；

步骤S3：神经网络模型的训练，构建的训练数据集，对高光谱图像数据进行数据扩充，并输入到网络模型中，利用损失函数计算预测显著图与真值显著图的损失，优化参数训练神经网络。

2.根据权利要求1所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，步骤S1中，所述图像的预处理为计算采样得到的初始高光谱图像数据的均值和方差，并归一化，得到处理后的高光谱数据。

3.根据权利要求1所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，步骤S2中，所述端到端神经网络模型包括空间编码模块、光谱编码模块、解码模块以及结果预测模块，所述空间编码模块和所述光谱编码模块分别与所述解码模块连接，所述空间编码模块用于编码空间特征，所述光谱编码模块用于编码光谱特征，所述解码模块用于融合输入的空间特征和光谱特征输出预测显著图，并输入到所述结果预测模块中。

4.根据权利要求4所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，所述空间编码模块与所述解码模块中卷积块的各卷积层结构相同，各卷积层均包括conv3×3卷积、批归一化层bn和激活函数relu，上层卷积层之间通过下采样层downsample连接，下层卷积层之间通过上采样层upsample连接，所述卷积块整体构成U型结构。

5.根据权利要求5所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，所述空间编码模块包括6个卷积块，所述卷积块的深度L分别为7、6、5、4、4和4，所述卷积块之间通过最大池化层maxpool连接；

所述解码模块包括5个卷积块，所述卷积快的深度L分别为7、6、5、4和4，所述卷积块之间通过上采样层upsample或最大池化层maxpool连接。

6.根据权利要求4所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，所述光谱编码模块包括6个卷积块，所述卷积块深度均为4，所述卷积块之间通过平均池化层avgpool连接。

7.根据权利要求8所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，所述光谱编码模块中卷积块的各卷积层均包括conv1×1卷积和批归一化层，所述卷积块中各卷积层之间通过激活函数relu进行输入端和输出端的连接，所述卷积块整体构成U型结构。

8.根据权利要求4所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，所述结果预测模块分别通过conv3×3卷积和激活函数sigmoid接收所述解码模块中各卷积块的输出，得到预测显著图，并将所述预测显著图通过conv1×1卷积和激活函数sigmoid进行融合输出最终的预测显著图。

9.根据权利要求1所述的基于端到端神经网络的高光谱图像显著图生成方法，其特征在于，步骤S3中，进行神经网络训练的数据集的高光谱图像尺寸为1024*768，对训练集数据采用50％概率的水平翻转或25％概率的下采样进行数据扩充，得到尺寸为512*384的高光谱图像作为输入的训练集。

10.根据权利要求1所述的基于端到端神经网络的高光谱图像显著图生成方法，步骤S3中，所述损失函数采用二分类交叉熵损失函数，所述神经网络的训练根据计算得到的损失，通过反向传播算法对模型参数进行优化。