[发明专利]一种红外和可见光图像的融合方法

权利要求书

1.一种红外和可见光图像的融合方法，其特征在于，包括以下步骤：

S1、获取训练数据集：采用混合l₁-l₀分解模型将网络输入图像S分解为基础层B和细节层S-B，作为训练数据集：

其中p表示像素点，N表示像素总数，表示沿i方向的偏导运算，λ₁、λ₂表示l₁范数和l₀范数的权值系数，第一项(S_p-B_p)²使得基础层在像素级别上趋近于源图像，第二项对基础层使用l₁约束使得基础层可以保留较大梯度，因此基础层是分段光滑的，第三项对细节层使用l₀范数约束强制细节层的小纹理梯度为零，同时保持主要结构梯度不变；

S2、构建自编码融合网络模型，具体为：

S11、自编码融合网络模型包括两个独立且结构相同的自编码器，分别定义为BaseNet和DetailNet，自编码器的编码器由4层卷积层构成，卷积核大小都为(3,3)，卷积核个数都为16，第一层卷积层后添加ReLU激活层，每层卷积层都和后面所有卷积层作级联；自编码器的解码器由4层卷积层构成，卷积核大小都为(3,3)，卷积核个数依次为64、32、16和1，前三层卷积层后添加ReLU激活层；

S12、构建损失函数，将图像S分别送入BaseNet和DetailNet，得到对应的输出和利用步骤S11得到的B和S-B作为标签，计算网络输出与标签之间的像素损失：

其中和分别代表自编码器的编码器和解码器，base和detail分别表示BaseNet和DetailNet，MSE表示均方误差；

将和相加重构得到并计算与源图像S之间的结构损失：

其中SSIM表示结构相似度；利用像素损失和结构损失构建最终损失函数：

loss＝loss_pixel+λloss_ssim

其中λ为结构损失的权值参数；

S3、采用训练数据集对构建的自编码融合网络模型进行训练，训练方法为通过反向传播算法最小化损失函数进行，获得训练好的自编码融合网络模型；

S4、将需要融合的红外和可见光图像送入训练好的自编码融合网络模型，即BaseNet和DetailNet编码器，分别对BaseNet和DetailNet提取的特征做特征融合，具体为：

S41、基础层特征融合，引入显著性检测得到红外图像的显著图SM,得到BaseNet的初步特征融合策略：

φ^m(x,y)＝SM×φ_ir^m(x,y)+(1-SM)×φ_vis^m(x,y)

式中vis表示可见光图像，ir表示红外图像，其中即编码器输出特征图，m表示第m张特征图；

利用l₁范数策略弥补显著性检测忽略的热辐射信息，修正BaseNet的特征融合策略；

l₁范数融合策略：

其中表示图像i的特征权值，C_i(x,y)＝||φ_i^1:M(x,y)||₁、分别表示为表示图像各点的l₁范数和各点l₁范数的邻域均值，r为邻域半径；

修正后的融合策略：

S42、细节层特征融合，采用加权平均融合策略融合DetailNet特征：

其中分别表示红外图像和可见光图像经DetailNet编码器输出的特征图，m表示第m张特征图；

S5、将步骤S4得到的两层网络特征融合结果经各自的解码器解码后相加得到最终融合图像：