[发明专利]一种可见光图像和红外图像的融合方法

说明书

技术领域

本发明涉及一种基于可见光和红外图像互补信息的图像融合方法，用以融合同一场景的可见光和红外图像，可用于变电站高压设备识别。

背景技术

产生可见光图像的可见光摄像机需要外部照明。产生红外图像的红外摄像仪可昼夜使用，但红外图像缺少纹理和色彩等信息。由于可见光摄像机和红外摄像仪具有互补的特性，二者结合使用可以提高对象检测应用的性能。然而，可见光域和红外域都存在各自的问题。在可见光域，突然光照变化，阴影存在，夜间可视度差等都会导致可见光图像问题。红外图像也存在低信噪比，极性反转，在热或冷的对象周围出现光环效应等问题。因此，主要问题是如何将这两个域图像融合。

精度和回想是用来衡量对象检测应用性能的度量。精度是检测方法检测到的对象像素个数除以检测到的像素总个数的商。它决定了正确的对象像素与检测到的像素之比。回想是检测方法检测到的对象像素个数除以对象实际像素总个数的商。它是检测到的像素与对象实际像素之比。

可见光和红外信息的融合对于提高对象检测的回想率具有重要意义，但这种融合总是导致精度率的下降。由于红外图像能有效地提供前景信息，检测到的像素中大都是对象像素，这样当仅使用红外域时，精度就很高。可见光图像中前景检测通常很差，这样精度就很低。因此，当这些域融合后，精度下降，红外域和可见光域的回想率总是很低。

发明内容

针对现有技术的不足，本发明提出一种可见光图像和红外图像的融合方法，它可以将红外图像和可见光图像进行像素层级上的融合，形成综合互补信息的融合图像，最终实现回想率的大幅提高。

本发明的目的是通过以下技术方案予以实现的，一种可见光图像和红外图像的融合方法，其特征在于，包括如下具体步骤：

（1）使用红外域的扩展前景作为可见光域及灰度域的初始掩膜，分别对红外域、灰度域和可见光域每个像素的每个信道分别进行背景建模、前景检测和阴影检测；（2）对红外域的前景区域应用膨胀形态操作，使用膨胀的红外域前景像素对灰度域和可见光域前景像素进行掩膜处理；（3）掩膜处理过的灰度域和可见光域信道前景区域进行合成并对合成的结果去除阴影；（4）阴影去除后的可见光域前景图像和膨胀的红外光域前景图像进行融合，得到的前景区域用作对红外域图像掩膜处理；（5）最后对红外域中每一个连通区域应用主动轮廓模型（snake），检测出目标的边界。

进一步地，所述背景建模中，使用最近的帧计算背景模型的均值、方差和中值（I_med），为最小化孤立点效果，借助中值图像，使用以I_med(x,y)为中心的高斯分布为每个像素计算权值：

 （1）

这里表示标准差，取值为5，通过计算加权均值和加权方差，构建每个像素的统计背景模型：

                              （2）

                    （3）

背景模型使用设计的更新因子持续更新：

                        （4）

        （5）

所述前景检测中使用马氏距离平方（squared Mahalanobis distance）：

                           （6）

这里，C是协方差矩阵，Z表示门限值；

参照背景模型，为每个像素计算亮度和色度的减少基础上实现阴影检测，仅当下列条件满足时，像素p是一个阴影像素：

(1) 0.8≤C_L≤0.98, 这里C_L=p_L/B_L，

(2) C_UV≤20, 这里

这里，C_L是亮度变化；C_UV是色度变化；B_L，B_U和B_V是每一信道的平均背景值，另外，一个像素标记为阴影像素还需满足以下条件：

R=|S|/|F|                                                   （7）

利用(7)式计算候选阴影区域的面积|S|与检测到的前景区域面积|F|的比，如果α≤R≤β为真，阴影区域最终确定，这里参数α和β限制阴影区域面积相对于对应的重叠前景区域面积的大小。