[发明专利]图像融合方法及装置

权利要求书

1.一种图像融合方法，其特征在于，包括：

获取多张待融合图像，其中，所述多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像；

对所述多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像；

将所述粗配准后的多张待融合图像输入至预设模型中，以使得所述预设模型输出融合后的目标图像；

其中，所述预设模型为用于对图像进行融合的模型，所述预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像，其中，所述多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。

2.根据权利要求1所述的方法，其特征在于，所述预设模型中包括特征提取单元，所述特征提取单元中包括N个特征提取层，其中，所述特征提取单元用于提取特征图像，以及所述预设模型中还包括N个门单元，1个融合单元，所述门单元用于对图像进行初步融合，所述融合单元用于对所述门单元的输出进行最终融合，所述N为大于或等于1的整数。

3.根据权利要求2所述的方法，其特征在于，所述将所述粗配准后的多张待融合图像输入至预设模型中，以使得所述预设模型输出融合后的目标图像，包括：

将所述粗配准后的多张待融合图像输入至所述预设模型的特征提取单元中，通过所述特征提取单元中的N个特征提取层，输出各所述待融合图像各自对应的N种尺度特征图像；

将各所述待融合图像各自对应的N种尺度的特征图像，分别对应输入至所述N个门单元中，以使得各所述门单元对各所述待融合图像各自对应的N种尺度的特征图像进行初步融合，得到N种尺度的融合结果；

将所述N种尺度的融合结果进行上采样处理，并将上采样处理后的N种尺度的融合结果输入至所述融合单元中，以使得所述融合单元输出融合后的目标图像。

4.根据权利要求3所述的方法，其特征在于，所述上采样处理包括：

对所述N种尺度的融合结果进行图像插值处理，将所述N种尺度的融合结果的分辨率调整为目标分辨率。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像，包括：

确定所述多张待融合图像对应的单应矩阵；

根据所述多张待融合图像对应的单应矩阵，对各所述待融合图像进行变换处理，得到粗配准后的多张待融合图像，其中，粗配准后的多张待融合图像的视角相同。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

根据所述多组样本进行学习，得到所述预设模型。

7.根据权利要求6所述的方法，其特征在于，所述根据所述多组样本进行学习，得到所述预设模型，包括：

通过初始模型对所述多组样本中的样本待融合图像进行处理，得到所述样本待融合图像对应的融合图像；

根据损失函数对所述融合图像和样本目标图像进行处理，得到损失函数值；

根据所述损失函数值对所述初始模型进行反向传播，调整所述初始模型的模型参数；

重复执行上述两个步骤，直至所述初始模型满足收敛条件时，得到所述预设模型。

8.一种图像融合装置，其特征在于，包括：

获取模块，用于获取多张待融合图像，其中，所述多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像；

第一处理模块，用于对所述多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像；

第二处理模块，用于将所述粗配准后的多张待融合图像输入至预设模型中，以使得所述预设模型输出融合后的目标图像；

其中，所述预设模型为用于对图像进行融合的模型，所述预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像，其中，所述多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。