[发明专利]滤波器预置深度学习神经网络的图像融合方法

摘要

本发明提出一种滤波器预置深度学习神经网络的图像融合方法，主要解决现有多尺度小波变换图像融合方法中存在的融合图像信息熵和平均梯度较低的问题。其实现方案为：预置单层反卷积网络的滤波器为四阶巴特沃斯滤波器；获取样本图像；使用样本图像来训练单层反卷积网络滤波器；使用滤波器训练好的单层反卷积网络来推断待融合图像的特征图；融合待融合图像的特征图；将融合特征图与单层反卷积网络的滤波器卷积求和，生成融合图像。本发明能够稳定且有效地得到信息更丰富、细节更清晰的融合图像，提高了多聚焦融合图像的信息熵和平均梯度，可用于多摄像头手机、数码相机的摄像场景。

主权项

1.一种滤波器预置深度学习神经网络的图像融合方法，其特征在于，包括如下：(1)设置单层反卷积网络的滤波器个数为K，并将其中的1个滤波器预置为p×p大小的四阶低通巴特沃斯滤波器，另外K‑1个滤波器预置为p×p大小的四阶高通巴特沃斯滤波器，将这K个滤波器标记为{f₁,...,f_n,...,f_K}，K≥1，p≥3，1≤n≤K；(2)选取M幅大小相同的多聚焦图像作为样本图像，M≥2；(3)设置反卷积网络的总循环轮数为E，将样本图像输入到反卷积网络，采用ISTA方法和共轭梯度下降法对K个滤波器进行E轮训练，得到滤波器训练好的反卷积网络；(4)分别将两个待融合图像A和B输入到滤波器训练好的反卷积网络中，分别推断出第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}；(5)对第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}的相同下标特征图分别进行融合，得到K个融合特征图{F₁,...,F_n,...,F_K}；(6)对K个融合特征图{F₁,...,F_n,...,F_K}和K个反卷积网络的滤波器{f₁,...,f_n,...,f_K}执行相同下标的卷积，并对这K个卷积结果求和，生成融合图像F。