[发明专利]基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法

权利要求书

1.一种基于RGB-D图像的CLANet钢轨表面缺陷检测系统，其特征在于：包括：

特征提取模块，跨模态信息融合模块，缺陷定位与分割模块；

特征提取模块对输入的RGB图像和深度图像分别提取各自的多级特征信息；

跨模态信息融合模块对特征提取模块提取的RGB图像特征信息与Depth图像特征信息充分交叉融合；

缺陷定位与分割模块用于对上述跨模态信息融合模块得到的每一层的全局信息，进行解码和缺陷定位分割操作，最后得到显著性缺陷预测图和损失。

2.根据权利要求1所述的基于RGB-D图像的CLANet钢轨表面缺陷检测系统，其特征在于，上述跨模态信息融合模块包含空间细化分支模块(SRB)和多模态注意力模块(MAB)，其中多模态注意力模块(MAB)包含多组跨模态相互作用模块(CMIM)；空间细化分支模块(SRB)，用于在不添加参数的情况下增加网络的接受域，它将RGB-D信息分散到四个维度，分别获得不同的局部和全局信息；跨模态相互作用模块(CMIM)用于将空间细化分支模块(SRB)生成的RBG-D特征图，采用反馈-负反馈方式完成信息融合。

3.根据权利要求1所述的基于RGB-D图像的CLANet钢轨表面缺陷检测系统，其特征在于，缺陷定位与分割模块中的双流解码器(DSD)进行解码操作，DSD包括两部分：低级-高级信息融合(LH-IF)和高级-低级信息融合(HL-IF)，低级-高级信息融合(LH-IF)将丰富的特征信息从高分辨率传输到低分辨率；高级-低级信息融合(HL-IF)用于对低级-高级信息融合(LH-IF)的输出结果进行解码操作，从而完成最终检查任务。

4.一种如权利要求1所述的基于RGB-D图像的CLANet钢轨表面缺陷检测系统的方法，其特征在于，

步骤1：特征提取模块对输入的RGB图像和深度图像分别提取其多级特征，并将深度图像采取灰度映射的方式由单通道转变为三通道，得到RGB-D特征信息；

步骤2：跨模态信息融合模块的空间细化分支模块(SRB)将步骤1所有层级的RGB-D特征信息分散到四个维度上，得到f_n^RGB和f_n^Depth；

步骤3：跨模态信息融合模块的多模态注意力模块(MAB)以及MAB内部的跨模态相互作用模块(CMIM)将步骤2的每一层的结果进行跨模态融合，得到f_i；

步骤4：将经历过步骤3处理每一层的融合结果，传入双流解码器(DSD)，进行解码、缺陷定位和分割操作，最后得到显著性缺陷预测图；

步骤5：计算协作学习注意力网络(CLANet)的损失值。

5.根据权利要求4所述的基于RGB-D图像的CLANet钢轨表面缺陷检测系统的方法，其特征在于，步骤2中空间细化分支模块(SRB)具体操作如下：

其中RGB图像特征和Depth图像特征的尺寸被定义为f_i^RGB，f_i^Depth分别表示网络第i层的特征，i＝1，2，3，4，5，6，分别表示RGB图像和深度图像的分支特征，通道数变为原来的1/4，j＝1，2，3，4，表示不同膨胀率下的特征，Dilconv是膨胀卷积层，W_i,j是卷积层参数，d_{j＝{1,2,3,4}}＝{1,3,5,7}为膨胀系数。