[发明专利]一种用于煤场的红外-可见光双光图像拼接与融合方法

说明书

一种用于煤场的红外‑可见光双光图像拼接与融合方法，先使用SIFT检测算子检测图像的特征点，然后使用HOG进行特征描述，将获得的描述子使用最近邻比次近邻匹配，接着使用RANSAC进行外点移除，然后计算单应矩阵，之后使用Bundle Adjustment进行微调，此时对于可见光图像可以进行拼接得到煤场全景图，接着，对于红外图和煤场全景图进行配准，最后送入深度学习模块进行融合得到红外‑可见光融合图像。本发明能够适应煤场的恶劣环境，提供红外‑可见光双光拼接融合图像，有利于煤场工作人员进行现场监控以及为后续热源检测提供数据依据。

技术领域

本发明涉及计算机视觉、图像处理、物料监控等技术，具体涉及一种用于煤场的红外-可见光双光图像拼接与融合方法。

背景技术

一般火力发电厂、热电厂等会将煤炭存储在封闭场所，长时间堆放的煤与空气接触会发生氧化反应并释放热量。堆放在外层的煤的热量可以散发，堆放在底层的煤接触的空气密度低也不易自燃，而中层煤堆内部空气流动缓慢、通风差，内部热量积累容易发生自燃。

现有对于煤堆自燃的监测方式主要有人工巡检、使用插入式温度传感器以及使用红外温枪或热成像设备三种。人工巡检无法实时监测，同时由于现场环境十分恶劣，对巡检人员的安全也提出了要求；插入式温度传感器布局范围和深度也受到煤场环境的影响，无法完全覆盖煤场，且这种监控方式无法得到精确的燃煤区域；红外温枪也只能检测煤堆表面温度，因此以上三个方案有效性都不高。

发明内容

为了解决现有技术对煤场煤堆自燃无法有效进行实时监控的问题，本发明提供了一种用于煤场的红外-可见光双光图像拼接与融合方法，以供后台预警算法使用，首先，从四台红外-可见光双光相机获取煤场各个方位的图像，然后利用计算机视觉的图像拼接和融合技术将图像进行拼接融合，获得煤场的红外-可见光双光融合全景图像，该全景图像能够覆盖整个煤场，为工作人员提供了安全精准的监控手段。

本发明为其技术问题采用的技术方案如下：

一种用于煤场的红外-可见光双光图像拼接与融合方法，包括以下步骤：

1)、用四台红外-可见光双光相机采集煤场各个方位的图像；

2)、对图像进行标定，获得相机的内外参数，根据所得参数对图像进行畸变矫正；

3)、对2)中矫正所得四幅图像先使用SIFT检测算子进行特征点检测。对于二维图像I＝(x,y)的尺度空间L(x,y,σ)是由高斯核G(x,y,σ)与I＝(x,y)的卷积来确定,高斯核是实现尺度变换的唯一线性核，于是有公式(3.1)：

L(x,y,σ)＝G(x,y,σ)*I(x,y)  (3.1)

其中G(x,y,σ)是尺度可变高斯函数，用公式(3.2)表示

为了检测到稳定的关键点,提高稳定性，特征点的尺度空间由高斯差分尺度空间DOG上的峰值点来确定；

DOG尺度空间提供了尺度标准化的Laplacian近似值σ²▽²G,在σ²▽²G峰值点上特征最稳定；

D(x,y,σ)≈(k-1)σ²▽²G  (3.4)

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，然后使用公式(3.5)消除边缘响应；

其中Tr(H)为主曲率的轨迹,Det(H)为行列式的值，r是阈值，一般设为10；