[发明专利]基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法

说明书

本发明涉及基于RGB‑D图像的CLANet钢轨表面缺陷检测系统及方法，系统包括：特征提取模块，跨模态信息融合模块，缺陷定位与分割模块；方法为，特征提取模块对输入的RGB图像和深度图像分别提取其多级特征，得到RGB‑D特征信息；跨模态信息融合模块的空间细化分支模块SRB将RGB‑D特征信息分散到四个维度上，得到f_n^RGB和f_n^Depth；跨模态信息融合模块果进行跨模态融合，得到f_i；融合结果传入双流解码器DSD，得到显著性缺陷预测图；计算协作学习注意力网络CLANet的损失值。本发明更好的实现两个模态的特征融合和跨模态融合，从而进一步提高图像的检测效果，以提高钢轨表面的准确率。

技术领域

本发明涉及钢轨表面缺陷检测技术领域和图像检测技术领域，具体涉及一种基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法。

技术背景

近年来，由于视觉注意力机制和深度学习的飞速发展，显著性目标检测渐渐成为了计算机视觉领域的一个非常热门的研究方向。显著性检测是计算机视觉中极其重要的一种任务，它是依靠深度学习算法来模拟人的视觉特点，实现特定目标的检测。人的视觉注意力机制则是依靠人的先验性知识，有选择性的获取显著性目标，即感兴趣的目标。显著性检测在目标识别，图像视频压缩，图像检索，图像重定向等方向有着重要的应用价值。现代神经网络雏形在1998年形成，网络中加入了Back Propagation(BP)算法,学习过程由信息的正向传播与误差的反向传播两个过程组成。

随着图像数据获取设备的发展，Kinect等深度相机受到关注，目标的深度信息获取变得越来越方便。显著性检测也由简单的采取RGB图像转变为采用RGB 和深度(Depth)图像完成检测任务。2017年第一个将卷积神经网络应用在RGB-D 图像显著性检测中的模型被提出，但是该模型仅仅用网络的浅层信息进行显著性预测，没有充分利用深层的信息。随后许多RGB-D图像的显著性检测模型被提出，也取得了一定的积极成果。相较于采用传统算法进行显著性检测，采用深度学习算法完成显著性检测，在检测效果上要更加具有优势。

铁路运输是现代综合交通运输体系的主要方式之一，高速钢轨缺陷检测对列车安全高效运行意义重大。钢轨在长期的使用后或者在生产过程中可能存在表面裂纹，结疤，剥离掉块等缺陷，及时发现这些缺陷可以有效避免经济损失。

目前显著性检测的研究目标都聚焦在自然场景中的目标识别，如室内的摆设物品，公路上的车辆，花园中的植物等目标。显著性检测应用到工业上的检测任务是具有挑战性的。钢轨缺陷检测不同于在自然场景中对目标进行检测，具有更大的难度。高速钢轨的缺陷区域与钢轨背景之间的色彩对比差异小，单纯依靠 RGB图像无法有效的区分出缺陷区域。其次钢轨缺陷的形状和纹理与自然场景中的目标，与汽车，行人和桌椅等相比更加复杂，检测难度大。

以往的RGB-D图像显著性检测工作虽然也涉及到了信息融合问题的研究，但是往往将深度图像信息作为一种补充信息，并没有侧重将RGB图像与深度图像多模态信息的相互关注，不能充分深度图像信息在显著性检测中的作用。此外显著性检测还应当同时关注边缘等细节信息和位置信息。

人工目视法，电涡流检测法，磁粉法和超声波检测法是目前钢轨缺陷检测的常见方法，这些方法在检测精度和效率上都要低于机器视觉方法，图像处理技术没有得到广泛的应用。

发明内容

发明目的：本发明提出一种基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法，其目的是更好的实现两个模态的特征融合和跨模态融合，从而进一步提高图像的检测效果，以提高钢轨表面的准确率。

本发明所采取的技术方案如下：

基于RGB-D图像的CLANet钢轨表面缺陷检测系统，包括：特征提取模块，跨模态信息融合模块，缺陷定位与分割模块；

特征提取模块对输入的RGB图像和深度图像分别提取各自的多级特征信息；