[发明专利]基于金字塔调制注入的多光谱与全色遥感影像融合方法

权利要求书

1.一种基于金字塔调制注入的多光谱与全色遥感影像融合方法，其特征在于，包括如下步骤：

步骤1：输入影像制作；

将一对多光谱影像和全色影像进行分割，得到多组内容相同的配对的多光谱影像块和全色影像块；

步骤2：特征空间映射与转换；

将一组配对的多光谱影像块和全色影像块输入双流特征提取模块，所述双流特征提取模块分为两个并行支路，每个支路包括多个卷积层和多个残差块；多光谱影像块和全色影像块分别进入双流特征提取模块的两个支路，分别通过多个卷积层后完成由低维影像空间到各自高维特征空间的映射和转换，由多光谱影像得到光谱映射向量，由全色影像块得到空间映射向量；

步骤3：特征提取；

再将光谱映射向量和空间映射向量分别输入各自支路的多个残差块进行特征提取，分别得到光谱特征图和空间特征图；

步骤4：光谱特征图空间细节增强；

步骤4-1：线性映射；

对光谱特征图和空间特征图分别进行线性映射，并分别对线性映射后的得到的光谱向量和空间向量做维度匹配，使光谱向量和空间向量能够进行矩阵相乘运算；

步骤4-2：注入系数生成；

对维度匹配的光谱向量和空间向量做矩阵运算，得到光谱和空间的全局特征表示；并将光谱和空间的全局特征表示归一化后形成空间特征图的注入系数；

步骤4-3：空间注入；

将空间特征图的注入系数与空间特征图相乘，得到校准后的空间特征图；再将校准后的空间特征与光谱特征图相加，得到空间细节增强的光谱特征图；

步骤5：空谱联合特征提取；

将空间细节增强的光谱特征图输入多个残差块，进行特征提取，得到空谱联合特征图；

步骤6：上采样；

对空谱联合特征图执行上采样，实现空谱联合特征图在空间维度的2倍扩大；

步骤7：迭代融合；

返回步骤4，将空谱联合特征图作为步骤4中的光谱特征图，保持空间特征图不变，重新执行步骤4到步骤6，得到新的空间维度4倍扩大的空谱联合特征图；

步骤8：遍历步骤1得到的多组内容相同的配对的多光谱影像块和全色影像块，执行步骤2到步骤7，将所有配对的多光谱影像块和全色影像块生成的空谱联合特征图进行拼接，最终得到同时具备高空间分辨率和高光谱分辨率的影像。

2.根据权利要求1所述的一种基于金字塔调制注入的多光谱与全色遥感影像融合方法，其特征在于，所述步骤4-1中的线性映射1x1卷积线性映射。

3.根据权利要求1所述的一种基于金字塔调制注入的多光谱与全色遥感影像融合方法，其特征在于，所述上采样为金字塔渐进式上采样、插值上采样、转置卷积上采样和通道洗牌上采样中之一。