[发明专利]滤波器预置深度学习神经网络的图像融合方法

说明书

本发明提出一种滤波器预置深度学习神经网络的图像融合方法，主要解决现有多尺度小波变换图像融合方法中存在的融合图像信息熵和平均梯度较低的问题。其实现方案为：预置单层反卷积网络的滤波器为四阶巴特沃斯滤波器；获取样本图像；使用样本图像来训练单层反卷积网络滤波器；使用滤波器训练好的单层反卷积网络来推断待融合图像的特征图；融合待融合图像的特征图；将融合特征图与单层反卷积网络的滤波器卷积求和，生成融合图像。本发明能够稳定且有效地得到信息更丰富、细节更清晰的融合图像，提高了多聚焦融合图像的信息熵和平均梯度，可用于多摄像头手机、数码相机的摄像场景。

技术领域

本发明属于数字图像处理技术领域，特别涉及一种图像融合方法，可用于多摄像头手机、数码相机的摄像场景。

背景技术

深度学习神经网络有很多种，反卷积网络是深度学习神经网路中的一种网络模型，它通过无监督的学习训练，能够用学习训练好的网络来推断输入图像的多个特征图，并且利用这些推断出的特征图和反卷积网络的滤波器实现对原图像的复原重构。

图像融合是将来自多种传感器针对同一目标而获取的包含不同信息的多幅原始图像按一定的融合规则进行合并，以得到包含每个传感器获得的重要信息的一幅图像的过程。图像融合技术可以兼顾每个传感器所获取的图像信息，有效地利用每幅图像的优势和所感兴趣的信息，尽量弥补原始图像的不足，削弱原始图像的冗余信息，显著提升图像的清晰度和信息的丰富度，能够更加全面描述目标信息。目前被广泛应用在摄影、医学、测绘、工业产品检测等领域。

实际应用中，像素级图像融合拥有能保留尽可能多的场景信息，精度更高的优势，成为使用最多的方法。像素级图像融合方法可分为基于空间域的图像融合和基于变换域的图像融合两大类。基于空间域的图像融合是直接在图像像素灰度空间上对图像融合。基于变换域的图像融合是对原始图像进行图像变换后对变换系数进行融合的方法。实际效果往往是基于变换域的图像融合胜过基于空间域的图像融合。

目前基于变换域的图像融合方法是各国学者研究的热点。基于变换域的图像融合是先对源图像进行图像变换，然后再对变换域系数进行融合，得到融合图像的变换系数，最后再进行逆变换重构融合图像。常用的图像融合变换域方法是理论完备的多尺度小波变换。

现有基于多尺度小波变换的图像融合是先对待融合图像进行小波变换分解，分别得到低频近似图像和各个尺度、各个方向上的高频细节图像；然后分别对低频子带和高频子带采用选定的融合规则获取更多显著特征和信息来得到融合后的小波系数；最后，由融合后的小波低频子带以及各个高频子带经小波逆变换，重构出最终的融合图像。但这种基于多尺度小波变换的图像融合不能够有效地全面反映原始图像的信息，其所获得的融合图像信息不够丰富，细节不够清晰。

发明内容

本发明的目的在于提出一种滤波器预置深度学习神经网络的图像融合方法，以解决现有多尺度小波变换图像融合方法中融合图像信息熵和平均梯度较低的问题。

本发明的技术方案是，首先为单层反卷积网络预置所设计的一组相同大小的四阶巴特沃斯滤波器；然后选取大小相同的多聚焦图像样本用来学习反卷积网络滤波器；再将两幅待融合图像输入学习好的反卷积网络，分别为它们推断出各自的特征图；然后采用选定的融合规则对特征图进行融合，得到融合后的特征图；最后使用融合后的特征图与反卷积网络的滤波器卷积求和，生成最终融合图像。具体实现包括有如下：

(1)设置单层反卷积网络的滤波器个数为K，并将其中的1个滤波器预置为p×p大小的四阶低通巴特沃斯滤波器，另外K-1个滤波器预置为p×p大小的四阶高通巴特沃斯滤波器，将这K个滤波器标记为{f₁,...,f_n,...,f_K}，K≥1，p≥3，1≤n≤K；

(2)选取M幅大小相同的多聚焦图像作为样本图像，M≥2；