[发明专利]一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法

权利要求书

1.一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法，其特征在于，包括以下步骤：

a、构建钢轨踏面图像数据集，并划分为训练样本集和测试样本集；训练样本集用于训练钢轨踏面缺陷识别网络，测试样本集用于验证钢轨踏面缺陷识别网络的有效性；训练样本集中的图像分为两类：正样本图像和负样本图像；正样本图像是包含有真实缺陷的图像，用于提高网络对真实缺陷的识别能力；负样本图像是不含有真实缺陷的图像，用于抑制网络将非真实缺陷或无缺陷区域错误识别为真实缺陷；

b、对步骤a获得的训练样本集、测试样本集分别进行预处理，预处理后的两个样本集分别用于基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络的训练及有效性评价；

c、构建基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络，所述神经网络由两个前端分支结构与一个后端的预测模块组成；钢轨踏面缺陷识别神经网络处理图像时将其划分成7×7个区域，其中每个区域又能预测5个结果，网络能输出245个初步的缺陷预测结果，后续需要非极大值抑制方法对这245个缺陷预测结果进行筛选，从而得到最终的无重叠的钢轨缺陷识别结果；

d、采用经过步骤b预处理后的训练样本集训练步骤c构建的钢轨踏面缺陷识别神经网络，并结合测试样本集验证钢轨踏面缺陷识别网络的有效性，最终得到训练好的钢轨踏面缺陷识别神经网络；

e、采用经步骤d训练好的钢轨踏面缺陷识别神经网络识别待检测的钢轨表面灰度图像、深度图像对，输出初步的245个缺陷识别结果；采用非极大值抑制方法对所得的初步缺陷预测结果进行筛选，得到最终的无重叠的钢轨踏面缺陷识别结果。

2.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法，其特征在于：所述步骤a中，钢轨踏面图像数据集包括配准好的钢轨踏面灰度图像、深度图像对，灰度图像是钢轨踏面的二维信息，深度图像包含钢轨踏面的三维信息；同时利用了钢轨踏面的二维信息和深度信息，有助于区分真伪缺陷。

3.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法，其特征在于：所述步骤b中，对由步骤a所得的钢轨踏面训练样本集和测试样本集中的灰度图像和深度图像分别进行预处理包括归一化处理和数据增强，具体步骤如下：

(1)将钢轨踏面训练样本集和测试样本集中的灰度图像数据归一化到[-1,1]的范围内；

(2)将钢轨踏面训练样本集和测试样本集中的深度图像数据归一化到[-1,1]的范围内；

(3)通过旋转、裁剪、缩放的图像处理技术完成钢轨踏面训练样本集的增强。

4.根据权利要求1所述的基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法，其特征在于：所述步骤c中，所构建的基于灰度图像和深度图像的钢轨踏面缺陷识别神经网络由两个前端分支结构与一个后端的预测模块组成，具体结构如下：

每个前端分支结构中含9个卷积模块，每个模块均为卷积层-批归一化层-激活层-最大池化层；这两个分支结构分别提取经过步骤b预处理后的灰度图像和深度图像中的图像特征，各自生成一组特征图；

之后，将所得的两组特征图在深度方向上连接形成新的特征图，钢轨踏面的灰度图像和深度图像是来源于两个不同源域的信息，连接操作实现将两个源域信息的融合，从而实现对灰度图像和深度图像的同步利用；

后端的预测模块将融合后的新特征图处理成预测结果；用于输出网络初步预测结果的预测模块包含3个卷积模块，每个卷积模块的结构均为3×3卷积层和1×1卷积层；所述1×1卷积层维度数均为5(n+5)，n为缺陷类别数目，预测结果的维度为7×7×(5n+25)；所述预测结果划分为245个缺陷预测结果，预测结果包含有：缺陷的类别、缺陷的预测位置即目标边框以及目标边框所在区域的置信度信息，每个缺陷预测结果的回归值有n+5，分别为n个类别的概率分布、1个置信度值以及4个关于预测结果所在位置的目标边框的参量，定义每个预测结果所属的缺陷类别为n个类别的概率分布中最大的概率对应的类别。