[发明专利]一种用于煤场的红外-可见光双光图像拼接与融合方法

摘要

一种用于煤场的红外‑可见光双光图像拼接与融合方法，先使用SIFT检测算子检测图像的特征点，然后使用HOG进行特征描述，将获得的描述子使用最近邻比次近邻匹配，接着使用RANSAC进行外点移除，然后计算单应矩阵，之后使用Bundle Adjustment进行微调，此时对于可见光图像可以进行拼接得到煤场全景图，接着，对于红外图和煤场全景图进行配准，最后送入深度学习模块进行融合得到红外‑可见光融合图像。本发明能够适应煤场的恶劣环境，提供红外‑可见光双光拼接融合图像，有利于煤场工作人员进行现场监控以及为后续热源检测提供数据依据。

主权项

1.一种用于煤场的红外‑可见光双光图像拼接与融合方法，其特征在于，所述方法包括以下步骤：1)、用四台红外‑可见光双光相机采集煤场各个方位的图像；2)、对图像进行标定，获得相机的内外参数，根据所得参数对图像进行畸变矫正；3)、对2)中矫正所得四幅图像先使用SIFT检测算子进行特征点检测；4)、对3)中的特征描述子使用最近邻比次近邻方法进行匹配，首先，对特征点使用k‑d树建立索引，以此检索在k‑d树中与待查询点距离最近的k个数据点，这里k取值为2；然后使用最近邻比次近邻进行匹配；5)、对4)中的匹配对使用随机一致采样除去外点，在所有数据集合中随机选取两点形成一条直线,然后按照设定的阈值来寻找符合该直线的内点，由这个内点集合线性解出新的直线,再根据此新直线寻找它对应的内点，不断地重复这样的随机采样过程，直到某一次采样使内点数量最大，那么这次获得的直线估计就是此集合的最好估计；6)、利用得到的良好的匹配点计算各幅图像之间的单应矩阵，单应矩阵描述了处于同一平面上的一些点在两张图像之间的变换关系，考虑图像I₁和I₂有一对匹配好的特征点p₁和p₂，于是有公式(6.1)；p₂＝Hp₁                      (6.1)对于单应矩阵H可以通过4对匹配特征点算出；7)、对6)中的单应矩阵使用Bundle Adjustment作为全局调整器，最小化所有图像之间的配准误差，由于一个单应矩阵只描述了两幅图像之间的变换关系，而本技术方案需要使用4幅图像来重建煤场全景图，所以需要使用bundle adjustment把相机姿态和特征点空间位置做出最优调整，得到一个最优的全局坐标系；8)、接着将配准好的图像由7)中所得变换矩阵投影到柱面流形，然后寻找最佳拼接缝，削弱拼接的痕迹，最后使用多条带渲染使得拼接处图像过渡更自然；9)、对红外‑可见光图像的融合，先参照3)‑6)对双光图像进行配准，然后使用深度学习模块进行双光图像融合，使用加权平均策略来获得融合的基础部分；最终融合细节图像由最大选择策略生成，通过将基部与细节内容融合来重建最终融合图像。