[发明专利]一种基于残差金字塔的图像融合方法

权利要求书

1.一种基于残差金字塔的图像融合方法，其特征在于，该方法具体包括以下步骤：

步骤一、图像下采样金字塔的建立

图像下采样金字塔是通过高斯平滑和卷积获得下采样图像，也就是说第y层高斯金字塔通过平滑、下采样获得y+1层高斯图像；

设原始的输入图像为A和B，作为图像下采样金字塔的最底层A₀和B₀；分别对A图像和B图像进行卷积；取A图像为例，对A进行低通滤波和向下采样，得到图像下采样金字塔的上一层；如此重复，即生成图像A和B的下采样金字塔，其中m,n表示卷积核m行n列对应的像素，i，j表示图像第i行第j列对应的像素；

其中0l≤N,0i≤C_l,0j≤R_l；w(m,n)对应一个5x5的卷积核且满足可分离性、归一性、对称性和奇偶项四个约束条件,C_l表示下采样金字塔第l层图像的行数,R_l表示下采样金字塔第l层图像的列数,N表示下采样金字塔层数；

步骤二：图像上采样金字塔的建立

图像上采样金字塔是通过反卷积的方式获得上采样的图像，

上采样就是将图像在每个方向扩大为原来的两倍，新增的行和列以0填充，然后使用w(m,n)与放大后的图像进行反卷积，获得新增像素的近似值；分别对步骤一处理后的图像进行上采样；以经步骤一处理后的A图像为例：从图像下采样金字塔的最顶层A_N开始对其进行高斯卷积核滤波，再进行上采样，得到图像金字塔F_N-1层；如此重复，即可得到步骤一处理后的图像的上采样金字塔；其中图像A经步骤一处理后的图像上采样金字塔的最顶层F_N为图像下采样的最顶层A_N，即：

其中0l≤N,0i≤C_l,0j≤R_l；

步骤三：残差金字塔的建立

残差金字塔是在图像金字塔的基础上建立的；将图像金字塔下采样后的第l层A_l与图像金字塔上采样后的第l层F_l做差值得到对应差值图像第l层G_l，即为原图像的高频边缘信息；通过重复上述过程多次得到图像A和B的残差金字塔；以A图像为例，其中残差金字塔A′最顶层与图像金字塔顶层保持一致，即：

步骤四、图像融合

将上述图像A和B转化后的残差金字塔A′和B′进行融合，得到一个新的残差金字塔子图像；其中融合规则包括低频系数融合规则和高频系数融合规则；

步骤五、残差金字塔逆变化

为了得到重构后的图像，需将步骤四得到的转化后的残差金字塔逆变化得到重构图像，设融合后的残差金字塔为K，K_l表示重构后残差金字塔的第l层，其中0≤l≤N,

于是计算公式为：

累加得到输出图像Z。

2.根据权利要求1所述的一种基于残差金字塔的图像融合方法，其特征在于：所述的低频系数融合规则具体为：

设C(X)表示图像X经残差金字塔变换后的低频系数矩阵,表示该矩阵中的空间位置,表示残差金字塔变换低频成分系数矩阵下标为(u,v)元素的值,以为中心的邻域窗口大小为S和T,取为5x5窗口；

图像X的残差金字塔低频系数矩阵在点处的邻域能量显著性用表示,计算公式如下:

其中h(s,t)表示权值,并且满足∑_s∈S,t∈Th(s,t)＝1；

则新金字塔低频融合系数计算式子如下：

其中,α的取值在0-0.5范围内,当取α＝0.5时,则为平均融合,分别是残差金字塔A′和B′的金字塔变换低频系数矩阵在点处的邻域能量显著性。

3.根据权利要求1所述的一种基于残差金字塔的图像融合方法，其特征在于：所述的高频系数融合规则具体为：

设D(X)表示图像X经残差金字塔变换后的高频系数矩阵,表示该矩阵中的空间位置,表示残差金字塔变换高频成分系数矩阵下标为(u,v)元素的值；针对原图像分解得到的某一尺度下的高频子带系数,定义点处的对比度为：

其中,以为中心的邻域窗口大小为S和T,表示位置处局部窗口内的均值,邻域窗口大小取为5x5；s,t表示窗口S和T内的元素值；

高频融合规则函数描述如下：

这里,表示图像X经残差金字塔变换后的第l层的高频系数矩阵；

将A′和B′图像金字塔对应层融合后得到一个新的图像金字塔。