[发明专利]基于卷积神经网络的离散小波变换域多聚焦图像融合方法

权利要求书

1.基于卷积神经网络的离散小波变换域的多聚焦图像融合方法，其特征在于，包括以下步骤：

步骤一，使用离散小波变换将每个源图像分解为一个低频子带和多个高频子带；具体为：

使用2维离散小波变换的如下分解公式将不同的源图像分别分解为一个低频子带和3个高频子带：

其中，I代表源图像，I_LL表示I的低频子带，I_LH表示源图像的横向为低频、纵向为高频的子带，I_HL表示源图像的横向为高频、纵向为低频的子带，I_HH表示源图像的横向和纵向均为高频的子带，M、N代表图像尺寸的宽和长，(m,n)表示各子带中像素的空间坐标，H、D、V分别代表源图像水平、垂直和对角线所在的方向；(x,y)为小波函数中的不同尺度和不同位置，为小波基底，分别代表源图像水平方向H、对角线方向V和垂直方向D的不同尺度、不同位置的小波函数；

步骤二，基于卷积神经网络的性质，构建一种卷积神经网络，该网络分为两个分支，网络的输入是一对频率子带，用{P_A,P_B}表示，P_A为源图像A的频率子带，P_B为源图像B的频率子带，将P_A和P_B分别输入网络的两个分支中；

网络中每个分支的第一层均由96个卷积核组成，每个卷积核的大小被设计为11*11,步长为4；

P_A和P_B分别经过了两个分支的第一层卷积后，再分别经过两个分支的第二层卷积，两个分支的第二层均由256个卷积核组成，每个卷积核的大小被设计为5*5,步长为4；

P_A和P_B分别经过了两个分支的第二层卷积后，再分别经过两个分支的第三层卷积，两个分支第三层均由256个卷积核组成，每个卷积核的大小被设计为2*2，步长为2；

P_A和P_B分别经过了两个分支的第三层卷积后，再分别经过两个分支的第四层卷积，两个分支第四层均由384个卷积核组成，每个卷积核的大小被设计为3*3,步长为2；

P_A和P_B分别经过两个分支的第四层卷积后，第五层作为连接层，将网络的两个分支合并；

第六层是全连接层，将前一层的数据输出转换为256维特征向量，目的是提取图像特征；

在第六层和第七层之间，利用dropout机制避免过拟合，阈值设置为0.5；

第七层也是全连接层，充当分类器，最后将图像块分为两类，输出为概率分布，即将P_A和P_B以概率分布的形式进行分类；

每个分支中的每层数据输出都由ReLU激活函数处理；

在每个分支的第二层和第四层均使用填充技术填充像素点，每个分支第二层的像素点填充大小设置为2，每个分支第四层的像素点填充大小设置为1；

由于构建的卷积神经网络为端到端的结构，输出结果即为输入参数的权重图；

利用ImageNet中的Pen类图像对构建的卷积神经网络进行训练，首先将Pen类图像分割成块后应用高斯模糊，使每个图像块都有对应的清晰块和模糊块，再将得到的清晰块和模糊块作为两个分支输入构建的卷积神经网络中进行训练，得到CNN-High网络模型和CNN-Low网络模型；

再将源图像的高频子带数据代入得到的CNN-High网络模型，得到关于源图像的高频子带权重图；

同理，将源图像的低频子带数据代入得到的CNN-Low网络模型，得到关于源图像的低频子带权重图；

步骤三，在步骤二得到的权重图上通过修正的拉普拉斯和算法即SML算法运算获得决策图，得到对应子带的决策图；具体为：

采用SML算法计算决策图的公式如下：

其中，TH₁为小于0.5的阈值，将S(x,y)函数定义如下：

ML_D(m,n)＝|2D(m,n)-D(m-step,n)-D(m+step,n)|+|2D(m,n)-D(m,n-step)-D(m,n+step)|

其中DM_k(m,n)是指频率子带k在(m,n)处的决策图，W_k是指频率子带k的权重图，A_k(m,n)指源图像A的对应频率子带在坐标(m,n)处的像素点，B_k(m,n)指源图像B的对应频率子带在坐标(m,n)处的像素点，S(A_k(m,n),B_k(m,n))是指根据源图像A和源图像B生成的决策图，是指对源图像A对应频率子带的权重图应用SML算法的结果，是指对源图像B对应频率子带的权重图应用SML算法的结果，D指的是被SML处理的图像，即源图像A或源图像B；

P和Q均为参数，用于计算测量的窗口大小，窗口大小计算公式为：(2P+1)×(2Q+1)；p和q都是变量；

SML_D(m,n)表示图像D中位于(m,n)处的SML值；ML_D(m,n)表示图像D中(m,n)处修改后的拉普拉斯值即ML值；在本文中，步长step总是等于1；

步骤四，根据决策图，将不同频率子带分别融合，得到融合子带FS_k(k＝{LL,LH,HL,HH})，该步骤中融合使用的公式为：

FS_k＝A_k×DM_k+B_k×(1-DM_k)k＝{LL,LH,HL,HH}

其中k是一个参数，对应的是各个频率的融合子带；

当k＝LL时，FS_k就是指低频的融合子带，A_k是指源图像A的低频子带，B_k是指源图像B的低频子带，DM_k是指低频子带的决策图；

当k＝LH时，FS_k就是指横向为低频、纵向为高频的融合子带，A_k是指源图像A的横向为低频、纵向为高频的子带，B_k是指源图像B的横向为低频、纵向为高频的子带，DM_k是指横向为低频、纵向为高频的子带的决策图；

当k＝HL时，FS_k就是指横向为高频、纵向为低频的融合子带，A_k是指源图像A的横向为高频、纵向为低频的子带，B_k是指源图像B的横向为高频、纵向为低频的子带，DM_k是指横向为高频、纵向为低频的子带的决策图；

当k＝HH时，FS_k就是指横向为高频、纵向为高频的融合子带；A_k是指源图像A的横向为高频、纵向为高频的子带，B_k是指源图像B的横向为高频、纵向为高频的子带，DM_k是指横向为高频、纵向为高频的子带的决策图；

步骤五，通过逆离散小波变换对融合子带FS_k(k＝{LL,LH,HL,HH})进行重构，获得融合图像F；其中重构公式如下所示：

其中，F(x，y)为(x，y)处的融合图像结果，FS_LL指低频的融合子带，FS_LH指横向为低频、纵向为高频的融合子带，FS_HL指横向为高频、纵向为低频的融合子带，FS_HH指横向为高频、纵向为高频的融合子带。