[发明专利]一种基于多光谱相机的图像融合系统

权利要求书

1.一种基于多光谱相机的图像融合系统，其特征在于，包括：

多光谱图像采集模块、第一处理器和第二处理器；

所述多光谱图像采集模块用于针对同一拍摄区域采集多张不同光谱带的图像；

所述第一处理器，用于对所述多张不同光谱带的图像进行去噪处理和图像增强，得到多张第一图像；

所述第二处理器，用于对多张所述第一图像进行配准，得到多张第二图像；还用于对配准后的多张所述第二图像进行融合；

所述第二处理器，用于利用图像融合模型对配准后的多张所述第二图像进行融合；

所述图像融合模型至少包括神经网络滤波器、循环神经网络模块、超限学习机自编码器和堆叠去噪自编码器；

所述神经网络滤波器至少包括卷积层和反卷积层以及位于所述卷积层和所述反卷积层之间的对称连接层，用于对所述第二图像进行特征提取，以输出所述第二图像的第一特征；其中，所述卷积层的层数和所述反卷积层的层数相同，且所述卷积层和所述反卷积层相对于所述对称连接层对称；

所述循环神经网络模块，用于根据所述第一特征，输出所述第二图像的第二特征；

所述超限学习机自编码器，用于对所述循环神经网络模块输出的所述第二特征进行特征融合；

所述堆叠去噪自编码器，用于根据融合后的所述第二特征进行图像融合；

所述图像融合模型是通过以下方式训练得到：

随机选取所述图像融合模型的参数；

使用受限玻尔兹曼机对所述图像融合模型中的所述神经网络滤波器的参数进行预训练；

使用去噪自编码器对所述图像融合模型的参数进行逐层预训练；

用反向传播算法对所述图像融合模型的参数进行调整；

使用去噪自编码器对所述图像融合模型的参数进行逐层预训练时使用的损失函数为：

其中，y、x为训练样本通过所述图像融合模型进行融合后得到的融合图像、样本中通过其他融合方式得到的融合图像，f(W)为权重衰减项，a为权重值，m＝1,2,3…,M，M为所述堆叠去噪自编码器中隐藏层神经单元的数量，b为稀疏性参数，为第m个隐藏神经单元的平均活跃度；

所述第二处理器还用于分别获取多张所述第二图像的灰度均值，根据各张所述第二图像的灰度均值之间的比值确定融合权重；

分别对多张所述第二图像进行连续上采样，获得每张所述第二图像的上采样金字塔；

根据所述融合权重，将各张所述第二图像的上采样金字塔的各层信息分别进行叠加得到融合图像的上采样金字塔；

对所述融合图像的上采样金字塔，利用自下向上的递推方法得到最终融合图像；

所述第二处理器用于针对所述融合图像的上采样金字塔中的下层图像进行下采样，得到与相邻的上一层图像尺寸相同的临时图像；

计算所述临时图像与相邻的上一层图像的差值图像；

将所述差值图像与相邻的上一层图像按照平均梯度取最大法进行相加融合；

所述第一处理器用于分别提取所述多张不同光谱带的图像中相邻像素点的对比度大于第一对比度阈值的第一区域、对比度小于或等于所述第一对比度阈值且大于第二对比度阈值的第二区域、对比度小于所述第二对比度阈值的第三区域；

对所述第一区域、所述第二区域和所述第三区域分别采用不同的方式进行增强处理。

2.根据权利要求1所述的系统，其特征在于，所述第二处理器还用于分别对多张所述第二图像进行区域划分，从同一所述第二图像中划分出的相邻区域之间的清晰度不同；

根据多张所述第二图像中各自的区域划分情况下，确定所有所述第二图像中的区域划分方式；所有所述第二图像的区域划分方式是一样的；

利用确定的所述区域划分方式分别对所述第二图像进行区域划分；

针对所述第二图像中的第一区域，根据各所述第二图像中所述第一区域的清晰度确定在对所述第一区域进行融合时各所述第二图像的融合权重；其中，所述第一区域为所述第二图像中的任一区域；

根据确定的所述融合权重，融合所述第二图像中的所述第一区域。