[发明专利]一种用于煤场的红外-可见光双光图像拼接与融合方法

权利要求书

1.一种用于煤场的红外-可见光双光图像拼接与融合方法，其特征在于，所述方法包括以下步骤：

1)、用四台红外-可见光双光相机采集煤场各个方位的图像；

2)、对图像进行标定，获得相机的内外参数，根据所得参数对图像进行畸变矫正；

3)、对2)中矫正所得四幅图像先使用SIFT检测算子进行特征点检测；

4)、对3)中的特征描述子使用最近邻比次近邻方法进行匹配，首先，对特征点使用k-d树建立索引，以此检索在k-d树中与待查询点距离最近的k个数据点，这里k取值为2；然后使用最近邻比次近邻进行匹配；

5)、对4)中的匹配对使用随机一致采样除去外点，在所有数据集合中随机选取两点形成一条直线,然后按照设定的阈值来寻找符合该直线的内点，由这个内点集合线性解出新的直线,再根据此新直线寻找它对应的内点，不断地重复这样的随机采样过程，直到某一次采样使内点数量最大，那么这次获得的直线估计就是此集合的最好估计；

6)、利用得到的良好的匹配点计算各幅图像之间的单应矩阵，单应矩阵描述了处于同一平面上的一些点在两张图像之间的变换关系，考虑图像I₁和I₂有一对匹配好的特征点p₁和p₂，于是有公式(6.1)；

p₂＝Hp₁(6.1)

对于单应矩阵H可以通过4对匹配特征点算出；

7)、对6)中的单应矩阵使用Bundle Adjustment作为全局调整器，最小化所有图像之间的配准误差，由于一个单应矩阵只描述了两幅图像之间的变换关系，而使用4幅图像来重建煤场全景图，所以需要使用Bundle Adjustment把相机姿态和特征点空间位置做出最优调整，得到一个最优的全局坐标系；

8)、接着将配准好的图像由7)中所得变换矩阵投影到柱面流形，然后寻找最佳拼接缝，削弱拼接的痕迹，最后使用多条带渲染使得拼接处图像过渡更自然；

9)、对红外-可见光图像的融合，先参照3)-6)对双光图像进行配准，然后使用深度学习模块进行双光图像融合，使用加权平均策略来获得融合的基础部分；最终融合细节图像由最大选择策略生成，通过将基部与细节内容融合来重建最终融合图像；

所述步骤3)中，对于二维图像I＝(x,y)的尺度空间L(x,y,σ)是由高斯核G(x,y,σ)与I＝(x,y)的卷积来确定,高斯核是实现尺度变换的唯一线性核，于是有公式(3.1)：

L(x,y,σ)＝G(x,y,σ)*I(x,y)(3.1)其中G(x,y,σ)是尺度可变高斯函数，用公式(3.2)表示

为了检测到稳定的关键点,提高稳定性，特征点的尺度空间由高斯差分尺度空间DOG上的峰值点来确定；

DOG尺度空间提供了尺度标准化的Laplacian近似值在峰值点上特征最稳定；

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，然后使用公式(3.5)消除边缘响应；

其中Tr(H)为主曲率的轨迹,Det(H)为行列式的值，r是阈值；

通过拟和三维二次函数以精确确定关键点的位置和尺度，达到亚像素精度；

接着对得到的特征点使用HOG进行数值统计编码，生成SIFT特征描述子，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使算子具备旋转不变性；

其中式(3.6)、(3.7)分别为梯度的模值和方向公式，其中所用的尺度为每个关键点各自所在的尺度，取关键点邻域8×8像素的范围为一小块，然后在每4×4的小块上计算个8方向的梯度方向直方图,绘制每个梯度方向的累加值，即可形成一个种子点；

在尺度空间中计算关键点邻域像素的梯度方向直方图，选取主峰值80％以上的方向，一个关键点可能具备多个方向。

2.如权利要求1所述的一种用于煤场的红外-可见光双光图像拼接与融合方法，其特征在于，所述步骤9)中，为了提取细节，首先使用深度学习网络来计算多层特征，以便尽可能多地保留信息；对于每层的特征，使用soft-max算子来获得权重图以及候选融合细节内容；在多个层上应用相同的操作，从而获得融合细节内容的几个候选者。