[发明专利]一种基于图像融合的列车轮对踏面缺陷识别方法及装置

权利要求书

1.一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于，包括以下步骤：

通过可见光相机和红外相机采集图像，获得列车轮对踏面区域图像；

对可见光相机和红外相机进行标定；

根据标定获得的可光相机和红外相机的相机参数，得到可见光图像与红外图像之间的变换关系，对可见光相机和红外相机拍摄的图像进行图像对齐；

基于神经网络构建可见光图像与红外图像的融合模型，训练模型直至模型收敛，得到训练好的融合模型，将对应的可见光图像与红外图像输入训练好的融合模型，得到融合图像；

采用区域生长法，根据图像灰度值的相似性聚合融合图像中的像素点，获得列车轮对踏面缺陷区域的图像。

2.根据权利要求1所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：所述的通过可见光相机和红外相机采集图像，包括：

在钢轨下方车轮经过的位置布置可见光相机和红外相机，可见光相机和红外相机布置在两个平行光轴上，在列车经过时，通过可见光相机和红外相机拍摄车轮，获得列车轮对踏面区域图像；

在钢轨下方车轮经过的位置设置磁钢触发装置，根据车轮切割磁钢触发装置的磁钢磁感线获得感应信号，触发可见光相机和红外相机进行拍摄。

3.根据权利要求2所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：所述的对可见光相机和红外相机进行标定，包括：

设置棋盘格靶标，棋盘格靶标中镶嵌有红外发光LED灯；

采用张正友棋盘格标定法对可见光相机和红外相机进行标定，可见光相机和红外相机同步成像拍摄棋盘格靶标；从拍摄的照片中提取特征点，计算理想情况下内参数以及外参数，用最小二乘法估算实际存在径向畸变下的畸变参数，用极大似然法优化得到的参数。

4.根据权利要求1所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：所述的可见光图像与红外图像之间的变换关系，通过红外光平面到可见光图像平面的单应性矩阵H_tc来表示，根据红外光平面到可见光图像平面的单应性矩阵H_tc，对可见光图像和红外图像进行图像对齐，得到对齐后的可见光图像和红外图像。

5.根据权利要求4所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：红外光图像平面到可见光图像平面的单应性矩阵H_tc，通过如下公式计算：

其中，H_c为可见光图像平面到棋盘格靶标平面的单应性矩阵，H_t为红外图像平面到棋盘格靶标的单应性矩阵；可见光图像平面到棋盘格靶标平面的单应性矩阵H_c和红外图像平面到棋盘格靶标的单应性矩阵H_t分别通过标定获得。

6.根据权利要求5所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：融合模型包括顺序设置的编码器、空域注意力机制层、融合层以及解码器，

编码器包括卷积层和稠密块，卷积层包括3个3*3的卷积滤波器，将对应的红外图像和可见光图像输入编码器，输出图像的粗糙特征；

稠密块包括5个卷积滤波器，卷积滤波器的大小为3*3,卷积滤波器的步幅分别为1，稠密块用于提取深度特征，将卷积层输出的粗糙特征输入稠密块，输出多通道的深度特征图；

空域注意力机制层给编码器输出的深度特征图添加权重；

融合层对添加权重后的深度特征图进行融合，得到融合特征图；

解码器包括4个3*3的卷积滤波器，解码将融合特征图转换为融合后的图片。