[发明专利]一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法

说明书

本发明公开一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法，包括：利用配准好的钢轨踏面灰度图像与深度图像对建立钢轨踏面图像数据集，并划分为训练样本集和测试样本集，对数据集的图像进行预处理；采用一种特殊的卷积神经网络结构用于缺陷识别，该网络的前端具有两个分支结构，可分别从钢轨踏面灰度图像和深度图像中提取特征；通过特征图连接实现灰度图像和深度图像的特征信息的融合，之后采用预测模块输出初步预测结果；最后采用非极大值抑制方法筛选初步的缺陷预测结果得到最终的钢轨缺陷识别结果。本发明同时结合钢轨踏面的二维及三维特征，具有区分真实缺陷和伪缺陷的能力，可降低误判率和漏检率，尤其适合复杂环境下的缺陷识别。

技术领域

本发明属于模式识别与信息处理技术领域，涉及目标检测技术，具体涉及一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法。

背景技术

钢轨踏面缺陷识别是指在钢轨踏面图像中定位出缺陷位置并确定缺陷类型的过程。它是计算机视觉技术在工业领域中的应用难点，是基于图像的目标检测的应用技术。钢轨踏面缺陷识别既能应用于铁路正线的监测，同样也可应用于钢轨生产线上的检测。钢轨踏面缺陷识别的难点在于：受到光线、水渍、油渍等不同因素的影响，钢轨踏面缺陷在图像中的表现形态复杂；一些真伪缺陷在图像中十分相似，难以区别；钢轨属于高速运动的物体，面阵相机采集到的图像可能受到照明光源的影响，出现亮度不均匀的情况，踏面图像质量会影响识别精度。

目前，缺陷识别的传统方法是基于传统的机器学习模型的。具体地，采用人为设计特征算子如Sift、Harr在图像中进行特征提取，之后采用Adaboost、PLSA等模型实现缺陷分类。传统方法具有局限性。首先，人工设计专用的图像存在很大的难度，且每次针对一个新的特殊问题都需要对专用特征的设计与选择工作进行重复操作，大大增加了算法设计的工作量和人工成本。并且，人为设计专用图像特征的通用性不强。此外，传统的钢轨踏面检测方法中仅使用钢轨踏面的灰度图像。与这些传统方法相比，本发明方法同时利用了灰度图像和深度图像，有助于提高识别精度。

基于深度学习的目标检测网络可以从输入样本中自主学习丰富的特征信息，减少了在特征选取中人为因素的影响，可减少数据的预处理过程。此外，深度学习网络具有多尺度、平移不变性及旋转不变性等优点。一方面，深度学习网络是优秀的特征提取工具。另一方面，深度学习网络通过学习一种深层非线性网络结构，实现对复杂函数的逼近，具有很强的非线性推理能力，在分类、识别、生成等复杂任务的表现优于传统方法。可见，深度学习网络更适应于高精度的钢轨踏面缺陷检测。

深度学习技术的成熟，在计算机视觉领域的研究中取得了众多优秀的成果。但是现有的基于深度学习的缺陷检测方法只采用了物体的彩色或灰度图像，然而一些真实缺陷和伪缺陷在这些图像中表现的非常近似，很容易造成缺陷的误报或漏报。但如果可以同步采用钢轨踏面灰度图像及对应三维数据就可以大幅提高检测系统检测准确率。完全依靠三维数据实现识别，不但存在三维数据量大、识别速度慢的缺点，而且也容易发生识别错误。如果将三维数据转化为深度图像，并结合二维图像进行识别，则能实现高速、高精度的识别。基于此，本发明结合深度学习技术设计了一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法，能够在复杂的现场环境的情况下准确识别出钢轨踏面的真实缺陷。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法，该方法包括：

a、构建钢轨踏面图像数据集，包含的是配准好的钢轨表面灰度图像、深度图像对。将该数据集随机地分为训练样本集、测试样本集两个部分。其中训练样本集用于训练钢轨踏面缺陷识别网络，测试样本集用于验证钢轨踏面缺陷识别网络的有效性；