[发明专利]基于光谱约束和残差注意力网络的高光谱全色锐化方法

权利要求书

1.一种基于光谱约束和残差注意力网络的高光谱全色锐化方法，其特征在于，采用深度反投影网络对低分辨率高光谱图像块进行语义信息提取和空间上采样对齐，对单通道全色图像与多通道高光谱图像进行逐通道直方图匹配扩充通道和光谱对齐，构建含有不同大小卷积核的卷积模块和三维注意力模块的残差注意力网络，构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数；该高光谱全色锐化方法的步骤包括如下：

步骤1.生成训练集：

步骤1.1，将一张高光谱图像均分为N个互不重叠的标准高光谱图像块，N≥10；

步骤1.2，根据Wald协议要求，对每个标准高光谱图像块中可见光波段逐像素求均值得到均值图像，将均值图像块作为该标准高光谱图像块的单通道全色图像块；

步骤1.3，对每个标准高光谱图像下采样，得到低分辨率高光谱图像块；

步骤1.4，将每个标准高光谱图像块与其对应的单通道全色图像块和低分辨率高光谱图像块组成一个样本对，取T各样本对组成训练集，1≤T≤N；

步骤2.对低分辨率高光谱图像块进行空间对齐：

采用深度反投影网络对低分辨率高光谱图像块进行语义信息提取和空间上采样对齐，得到T₁个上采样高光谱图像块，T₁＝T；

步骤3.对单通道全色图像块进行光谱对齐：

对单通道全色图像块与多通道高光谱图像块进行逐通道直方图匹配，得到光谱对齐后的T₂多通道全色图像块，T₂＝T；

步骤4.构建残差注意力网络：

步骤4.1，搭建一个用于抑制冗余信息的三维注意力模块，其结构依次为：通道注意力子模块、第一乘法器、空间注意力子模块、第二乘法器；

所述通道注意力子模块的结构依次为：平均池化层、最大池化层、第一卷积层、第一激活函数层、第二卷积层、第二激活函数层；将平均池化层和最大池化层的计算维度均设置为1，将第一、第二卷积层的卷积核大小均设置为1*1，卷积核数量分别为16和64，滑动步长均为1，填充宽度均为0；第一激活函数层采用线性整流函数实现；第二激活函数层采用Sigmoid函数实现；

所述空间注意力子模块的结构依次为：平均池化层、最大池化层、卷积层、激活函数层；将平均池化层和最大池化层的计算维度均设置为1；卷积层的卷积核大小设置为3*3，卷积核数量为1；激活函数层采用Sigmoid函数实现；

当数据输入到三维注意力模块处理时，第一乘法器将通道注意力子模块的输出与原始输入数据进行相乘操作的结果，输入到空间注意力子模块，空间注意力子模块的输出结果与第一乘法器的相乘操作结果一起输入第二乘法器将空间注意力子模块进行乘法运算，得到三维注意力模块的整体输出数据；

步骤4.2，搭建10个结构相同的卷积模块，每个卷积模块的结构依次为：卷积层、批标准化层、激活函数层；将第一、第二、第七、第八卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为64，滑动步长均为1，填充宽度均为0；将第三、第四、第五、第六卷积模块卷积层的卷积核大小均设置为3*3，卷积核数量均为64，滑动步长均为1，填充宽度均为2；将第九、第十卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为C，C为步骤1中高光谱图像的通道数，滑动步长均为1，填充宽度均为0；第一至第十批标准化层均采用批标准化函数实现；第一至第十激活函数层均采用线性整流函数实现；

步骤4.3，将第一卷积模块、第二卷积模块、三维注意力模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块级联组成残差注意力网络；

当数据输入三维注意力模块、第三、第四、第五、第六卷积模块进行处理时，使用残差运算，即将每个模块的输入特征数据和输出特征数据进行像素级数值加合作为下一模块的输入特征数据；

步骤5.训练残差注意力网络：

步骤5.1，用T₁个上采样高光谱图像块逐像素减去与其对应的T₂个多通道全色图像块中的像素值，得到T₃张残差图像，T₁、T₂、T₃的取值对应相等；

步骤5.2，将所有残差图像输入到残差注意力网络中，通过网络逐级前传，输出重构后的图像；

步骤5.3，用训练集样本对中的T₄个标准高光谱图像块像逐素减去与其对应的T₂个多通道全色图像块中的像素值，得到T₅个目标图像，T₄、T₂、T₅的取值对应相等；

步骤5.4，构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数，利用Adam算法对网络总损失函数进行优化计算并迭代更新残差注意力网络参数，得到训练好的残差注意力网络；

所述网络总损失函数L(·)如下：

其中，Θ为待训练的网络参数，L_SAM(·)表示光谱约束损失函数,R和分别表示重构图像和目标图像，β表示两个损失项之间的权重参数，其取值为[0,10]范围内的任意实数，L_MSE(·)表示空间约束损失函数，K表示训练集样本对的总数，Σ表示求和操作，h表示目标图像的高，w表示目标图像的宽，arccos(·)表示反余弦操作，和分别表示第k张重构图像中第p个像素对应的向量和第k'张目标图像中第q个像素对应的向量，k和k'的取值对应相等，p和q的取值对应相等，·,·表示内积操作，||·||₂表示取L₂范数操作，c表示目标图像的通道数，和分别表示第m张重构图像中第v个像素对应向量的第b个维度的值和第m'张目标图像中第u个像素对应向量的第d个维度的值，m和m'的取值对应相等，v和u的取值对应相等，b和d的取值对应相等；

步骤6.对高光谱图像进行全色锐化：

步骤6.1，采用与步骤2和步骤3相同的方法，对待全色锐化的高光谱图像进行处理，得到上采样高光谱图像和多通道全色图像；

步骤6.2，采用与步骤5.1相同的方法，对上采样高光谱图像和多通道全色图像进行处理，得到二者的残差图像；

步骤6.3，将残差图像输入到训练好的残差注意力网络中，输出重构图像，将重构图像与多通道全色图像加合，得到全色锐化后的高光谱图像。