[发明专利]基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法

摘要

本发明涉及基于RGB‑D图像的CLANet钢轨表面缺陷检测系统及方法，系统包括：特征提取模块，跨模态信息融合模块，缺陷定位与分割模块；方法为，特征提取模块对输入的RGB图像和深度图像分别提取其多级特征，得到RGB‑D特征信息；跨模态信息融合模块的空间细化分支模块SRB将RGB‑D特征信息分散到四个维度上，得到fnRGB和fnDepth；跨模态信息融合模块果进行跨模态融合，得到fi；融合结果传入双流解码器DSD，得到显著性缺陷预测图；计算协作学习注意力网络CLANet的损失值。本发明更好的实现两个模态的特征融合和跨模态融合，从而进一步提高图像的检测效果，以提高钢轨表面的准确率。