[发明专利]基于自注意力和深度卷积并行的高光谱重建方法

权利要求书

1.基于自注意力和深度卷积并行的高光谱重建方法，其特征在于，包括如下步骤：

S1、编码阶段：对原始高光谱图像压缩采样得到的二维测量值Y进行反转色散，将该二维测量Y值向后偏移，获得初始化信号；

S2、解码阶段：包括：

S2-1、构建基于transformer和CNN并行架构的编码器，将初始化信号输入至该编码器中提取特征并融合，得到特征图；

S2-2、将特征图输入至瓶颈网络中，进一步提取特征并融合，得到最终特征图；

S2-3、将最终的特征图输入至解码器中得到重建后的高光谱图像。

2.根据权利要求1所述的基于自注意力和深度卷积并行的高光谱重建方法，其特征在于，步骤S1包括如下子步骤：

S101、利用CASSI光学系统中二维编码孔径M对原始高光谱图像预设波长的HSI信号进行编码得到 ，如下式：

，

其中，表示调制后的HSIs, 表示光谱通道，⊙表示元素乘法；H代表输入的三维HSI立方体的高，W代表输入的三维HSI立方体的宽，代表输入的三维HSI立方体的波长数；；

S102、然后利用CASSI光学系统中分散器对沿y轴剪切信号得到，如下式：，

其中，(u, v)为定位探测器平面上的坐标系，为第n个通道的波长，表示锚定波，为第n个通道在上的空间移动偏移量；

S103、整合有通道，将压缩为二维测量值Y，如下式：,

其中，，为CASSI光学系统获取到的二维测量值；，为传感探测器上成像过程中的二维测量噪声；

S104、将二维测量Y值向后偏移，获得初始化信号T，如下式：

。

3.根据权利要求1所述的基于自注意力和深度卷积并行的高光谱重建方法，其特征在于，步骤S2-1中，基于transformer和CNN并行架构的编码器包括3个顺序连接的特征提取模块，所述特征提取模块为：transformer模块连接的下采样模块；所述transformer模块是基于MSAB模块和CNN模块并行的架构，所述MSAB模块是顺序连接的第一Layer Norm模块、MSA模块、第二Layer Norm模块、Mask Attention模块，所述CNN模块是依次连接的三层卷积层。

4.根据权利要求3所述的基于自注意力和深度卷积并行的高光谱重建方法，其特征在于，

所述transformer模块是基于MSAB模块和CNN模块并行的架构，如下式：

,

 ，

其中，MIX表示在MSAB分支和CNN分支之间实现特征混合的函数，表示Layer Norm层，为输入到transformer模块的特征信息，为MSAB模块和CNN模块特征混合后的特征信息，FFN表示前馈网络，它由两个线性层组成且中间有一个GELU层，而为transformer模块的输出特征信息。

5.根据权利要求3所述的基于自注意力和深度卷积并行的高光谱重建方法，其特征在于，所述CNN模块是依次连接的三层卷积层具体为：第一层卷积卷积核大小为1×1，激活函数为GELU；第二层卷积卷积核大小为5×5，激活函数为GELU；第三层卷积卷积核大小为1×1，激活函数为GELU。