[发明专利]一种图像融合方法、装置及可读存储介质

权利要求书

1.一种图像融合方法，其特征在于，包括：

对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；

将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；

对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像，所述第一融合图像的具体表达公式为：F1(x,y)＝D1(x,y)A(x,y)+(1-D1(x,y)B(x,y))

其中，D1为二值图，A为第一图像，B为第二图像，F1为第一融合图像，x、y为构成像素点的坐标值；

计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；

获得所述第一结构相似度图和所述第二结构相似度图的差异图；基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像；

所述获得所述第一结构相似度图和所述第二结构相似度图的差异图的步骤，包括：

获得所述第一结构相似度图和所述第二结构相似度图的差值；

将所述差值的绝对值作为所述第一结构相似度图和所述第二结构相似度图的差异图；

所述基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像的步骤包括：

基于目标区域，去除所述差异图中与目标无关的区域，得到目标特征提取图像；

根据所述目标特征提取图像、所述第一图像和所述第二图像，得到第二融合图像；

所述第二融合图像的具体表达公式为：F2(x,y)＝D2(x,y)A(x,y)+(1-D2(x,y)B(x,y))

其中，D2为目标特征提取图像，A为第一图像，B为第二图像，x、y为构成像素点的坐标值，F2为第二融合图像。

2.根据权利要求1所述的一种图像融合方法，其特征在于，所述对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图的步骤，包括：

针对所述第一得分图上的第一像素点，判断是否大于第二像素点的像素值，其中，所述第一像素点为所述第一得分图上的任意一个像素点，所述第二像素点为所述第二得分图上与所述第一像素点对应的像素点；

如果是，则在所述二值图上第三像素点的像素值为1；否则，第三像素点的像素值为0，其中，所述第三像素点为所述二值图上与所述第一像素点对应位置的像素点。

3.根据权利要求1所述的一种图像融合方法，其特征在于，所述卷积神经网络的训练步骤，包括：

从第一图像集抽取尺寸为32×32的第一数量张原始图像，并加入第二图像集中的第二数量张可见光图像；

将所述原始图像和所述可见光图像转换成灰度图，并将以上灰度图像切分成16×16的子块，作为高分辨率图像集；

对所述第一图像集中的第一数量张原始图像进行高斯模糊处理，并加入第二图像集中的第二数量的红外光图像，再将所述第一数量张原始图像和所述第二数量红外光图像均切分成16×16的子块，作为模糊图像集。

4.根据权利要求1或3所述的一种图像融合方法，其特征在于，所述卷积神经网络,为双通道网络，每一个通道都由5层的卷积神经网络构成，包括3个卷积层，1个最大池化层，以及1个全连接层，最后的输出层是1个softmax分类器。