[发明专利]基于弱监督学习的空基视角下的铁轨异物检测方法及系统

权利要求书

1.一种空基视角下的铁轨异物检测系统，其特征在于，包括：

位于无人机上的空基图像获取模块，对地面铁轨拍摄图像，并传输给地面服务器；

位于地面服务器上的图像预处理模块、双级分割网络模块、区域定位模块和异常信息输出模块；

其中，图像预处理模块将空基图像获取模块获取的图像的尺寸和像素值进行归一化处理，输入双级分割网络模块；

双级分割网络模块包括共享特征提取部分、铁轨区域粗分割特征编码与解码部分、铁轨像素细分类特征编码与解码部分；共享特征提取部分从输入的图像中提取出包括纹理、颜色在内的底层特征，作为铁轨区域粗分割与像素细分类的共享特征；铁轨区域粗分割特征编码与解码部分基于共享特征，提取图像中的铁轨区域的高级语义特征，并输出铁轨区域粗分割预测图，预测图为像素用0或1标识的图，将铁轨覆盖的区域用1标识，不属于铁轨覆盖区域标识为0，0标识像素点为背景；铁轨像素细分类特征编码与解码部分基于共享特征，提取图像中的像素的高级语义特征，输出铁轨像素细分类预测图，预测图为像素用0或1标识的图，像素为1代表该像素属于铁轨，像素为0代表该像素不属于铁轨；对双级分割网络模块采用弱监督方式学习，对铁轨区域粗分割特征编码与解码部分和铁轨像素细分类特征编码与解码部分采用不同的标注进行监督，其中对铁轨区域粗分割特征编码与解码部分，标注的图片中铁轨为未被异物侵占时的正常区域状态，对铁轨像素细分类特征编码与解码部分，标注的图片中标识出属于铁轨的每个像素，对异物侵占铁轨的区域作为背景标识；

区域定位模块根据铁轨区域粗分割预测图与像素细分类预测图的差异，获取侵入铁轨异物的异常区域指示图；

异常信息输出模块根据异常区域指示图采用4-连通算法，获取各异常区域的质心坐标，将各质心坐标作为异常区域的位置，并进行报警。

2.根据权利要求1所述的系统，其特征在于，所述的铁轨区域粗分割特征编码与解码部分，其中的编码部分包含14个卷积层，解码部分包含2个上采样层和6个卷积层，通过铁轨区域粗分割特征解码部分获得铁轨区域粗分割预测图。

3.根据权利要求1所述的系统，其特征在于，所述的铁轨像素细分类特征编码与解码部分，其中的编码部分包含14个卷积层，在每个卷积层上作传统卷积操作和多向卷积操作，将处理结果进行叠加得到卷积层的输出；多向卷积操作是指将特征图在一个米字型区域内进行卷积计算，将卷积滤波器在非米字型区域的权重设置为0，训练时只对米字型区域内的权重进行优化；解码部分包含2个上采样层和6个卷积层。

4.一种空基视角下的铁轨异物检测方法，其特征在于，该方法包括如下步骤：

步骤1，利用无人机拍摄地面铁轨区域的图像；

步骤2，将拍摄的图像进行尺寸和像素值归一化的预处理；

步骤3，预处理后的图像输入双级分割网络，提取铁轨两级分割预测图；铁轨两级分割预测图分别指铁轨区域粗分割预测图和铁轨像素细分类预测图；

其中，双级分割网络包括三部分：(一)共享特征提取部分，用于对输入的图像提取包括纹理、颜色在内的共享的底层特征；(二)铁轨区域粗分割特征编码与解码部分，基于共享的底层特征，提取铁轨区域粗分割的高级语义特征，输出区域粗分割的预测图，预测图中属于铁轨的区域标识为1，不属于铁轨的区域标识为0；(三)铁轨像素细分类特征编码与解码部分，基于共享的底层特征，提取铁轨像素细分类的高级语义特征，输出铁轨像素细分类预测图，图中属于铁轨的像素标识为1，不属于铁轨的像素标识为0；

对双级分割网络采用双级标注的弱监督方式学习；其中，对铁轨区域粗分割特征编码与解码部分学习所用的标注图片中的铁轨为未被异物侵占时的正常区域状态；对铁轨像素细分类特征编码与解码部分学习所用的标注图片中标识出属于铁轨的每个像素，对异物侵占铁轨的区域作为背景标识；

步骤4，对铁轨两级分割预测图进行做差，获取铁轨的异常区域指示图，对异常区域指示图进行滤波优化，输出最终的异常区域指示图；

步骤5，对步骤4输出的异常区域指示图采用4-连通算法，求得每个异常区域的质心坐标，将各质心坐标输出，作为异常区域的位置。

5.根据权利要求4所述的方法，其特征在于，所述的步骤2中，将图像中的像素值归一化到-1到1之间。

6.根据权利要求4所述的方法，其特征在于，所述的步骤3中，铁轨区域粗分割和铁轨像素细分类的特征编码部分都包含14个卷积层，解码部分都包含2个上采样层和6个卷积层；其中，铁轨区域粗分割的特征编码部分的每个卷积层作传统卷积操作，铁轨像素细分类的特征编码部分的每个卷积层上作传统卷积操作和多向卷积操作，将两种卷积操作的处理结果相加得到卷积层的输出；多向卷积操作是指将特征图在一个米字型区域内进行卷积计算，将卷积滤波器在非米字型区域的权重设置为0，训练双级分割网络时只对米字型区域内的权重进行优化。