[发明专利]基于多尺度变换的多聚焦图像融合方法及装置

权利要求书

1.一种基于多尺度变换的多聚焦图像融合方法，包括：

采集同一成像场景下的两幅输入图像A_n(n＝1，2)，获取所述输入图像的不同深度；

使用k级上下文特征提取模型从所述输入图像中分别提取位于不同深度的k级尺度的图像特征

使用同级尺度融合方式对所述k级尺度的图像特征进行初步融合，得到初步融合特征U^d；

将每一级尺度的初步融合特征U^d与经过反变换的前一级初步融合特征U^d+1进行融合，得到精化融合特征U′^d；

使用图像重构模型对所述精化融合特征U′^d进行重构，得到融合图像F_recon；

使用所述输入图像A_n和输入图像的融合图像F_recon作为训练数据来训练多聚焦图像融合网络模型。

2.根据权利要求1所述的方法，其中，所述两幅输入图像为两幅待融合且预先配准的多聚焦图像。

3.根据权利要求1所述的方法，其中，每级所述上下文特征提取模型均由3个具有不同感受野的并行卷积模块构成，得到每一级尺度下包含上下文信息的图像特征其中：

所述3个不同感受野的并行卷积模块包括：原始图像特征分支、感受野扩大分支和注意力权重分支；

所述感受野扩大分支通过使用空洞卷积扩大感受野以获取图像相对全局信息，所述注意力权重分支引用自注意力机制对所述感受野扩大分支进行权重处理。

4.根据权利要求3所述的方法，其中，在所述k级上下文特征提取模型中，输入图像A_n的第d级尺度特征的计算输入为输入图像A_n的前一级尺度特征表示输入图像；

通过引用自注意力机制将转换为过渡图像特征采用Sigmoid函数为过渡图像特征的每一个像素点分配权重。

5.根据权利要求4所述的方法，其中，所述通过引用自注意力机制将转换为过渡图像特征包括：

采用尺寸为1且输出32个通道的滤波器对进行卷积运算，得到过渡图像特征

所述采用Sigmoid函数为过渡图像特征的每一个像素点分配权重，根据以下公式计算得出；

其中，(i，j)分别表示行坐标和列坐标；H、W分别表示图像特征的像素宽度和高度；表示过渡图像特征的每一像素点分配的权重。

6.根据权利要求3所述的方法，其中，所述感受野扩大分支包括两个部分图像子特征，每部分图像子特征均由连续的两个空洞卷积构成，其中：

所述两个部分图像子特征分别按照以下公式计算得出：

其中，分别为第一部分图像子特征和第二部分图像子特征；分别表示第一空洞卷积和第二空洞卷积操作；分别表示第一空洞卷积和第二空洞卷积操作对应标号滤波器的参数集；Θ表示Relu激活函数；表示经过转换后对应的像素点分配的权重。

7.根据权利要求6所述的方法，其中，所述输入图像A_n的第d级尺度特征按照以下公式计算得出：

其中，表示第一卷积操作，表示第一卷积操作对应标号滤波器的参数集；cat(·)表示级联操作；pooling(·)表示池化操作，设置池化步长为2。

8.根据权利要求1所述的方法，其中，所述使用同级尺度融合方式对所述k级尺度的图像特征进行初步融合，得到初步融合特征U^d，包括：

从两幅输入图像中将具有同级尺度的图像特征进行级联，然后经过softmax层得到权值图；

第d级尺度特征和第d级尺度对应的权值图相乘的乘积相加，得到第d级尺度下的初步融合特征U^d。