[发明专利]基于特征图恢复的场景分割方法和系统

说明书

本发明涉及一种基于特征图恢复的场景分割方法和系统，包括对原始图像进行降采样，得到降采样图像，通过特征学习网络得到该降采样图像的降采样特征图，将该降采样特征图的尺寸恢复为原始图像尺寸，得到上采样特征图，将该上采样特征图输入场景分割网络，得到该原始图像的场景分割结果。本发明利用降采样输入图像可以获得的较快的分割速度；利用原始大小输入图像可以获得的较高的分割精度。此外，本发明还提出了辅助中间层监督和边境区域重加权的方法辅助场景分割神经网络模型的优化过程，从而在保持模型加速的前提下提升加速后模型的分割精度。

技术领域

本方法属于机器学习和计算机视觉领域，并特别涉及一种基于特征图恢复的场景分割方法和系统。

背景技术

场景分割问题是计算机视觉领域一项重要而富有挑战性的问题，并且在生产和生活中具有广泛的应用价值，如自动驾驶、辅助驾驶、视频监控等。场景分割的目标是对场景图像中的每个像素点判断其所属类别。近年来，基于深度卷积神经网络的场景分割方法取得了极大的成功，例如基于全卷积网络的方法。然而，绝大部分现有的场景分割方法主要专注于提高分割的精度，因此常使用较深的神经网络和较高分辨率的特征图，这都会导致较慢的分割速度。然而在实际应用中，分割精度和分割速度都是很重要的。

近年来，大部分的神经网络加速方法都是用于对图像分类网络进行加速。这些方法主要基于参数近似或网络模仿的方法。然而，图像分类问题和场景分割问题之间存在较大的差异。对于图像分类问题，由于其预测值是一个图像级别的向量，因此通常输入图像会被缩小为一个较小的尺寸(如为224x224)，且特征图的分辨率通常较低(如为输入图像尺寸的1/32)。相比之下，场景分割问题的预测结果是像素级别的，需要更多的细节信息，因此通常使用较大尺寸的输入图像(如在Cityscapes数据集中输入图像为1024x2048)，且特征图需要维持在较高的分辨率(如为输入图像尺寸的1/8)，从而捕捉图像中更多的细节信息。较大的输入图像和较高分辨率的特征图这两个特性均会导致较慢的分割速度，但这两个特性不会出现在图像分类方法中。为了解决这两个特性导致的问题，很多现有的方法对输入图像进行降采样处理，这样可以简单有效的提升神经网络模型的分割速度，但这是以牺牲分割精度为代价的，因为在降采样的过程中丢失了很多图像中的细节信息。

发明内容

为了解决上述技术问题，本发明目的在于提供一种基于特征图恢复的场景分割方法，包括：

步骤1、对原始图像进行降采样，得到降采样图像，通过特征学习网络得到该降采样图像的降采样特征图，将该降采样特征图的尺寸恢复为原始图像尺寸，得到上采样特征图，将该上采样特征图输入场景分割网络，得到该原始图像的场景分割结果。

该基于特征图恢复的场景分割方法，其中

该场景分割方法还包括：

步骤2、直接将该原始图像输入至特征学习网络，得到原始特征图，将该原始特征图输入场景分割网络，得到该原始图像的的参考分割结果；

该步骤1还包括：

构建具有多个反卷积层的特征超分辨率学习模块，以根据降采样比率将该降采样特征图的尺寸恢复为原始图像尺寸；

该场景分割方法还包括：

步骤3、以该原始特征图和该参考分割结果分别优化该特征超分辨率学习模块和该场景分割结果。

该基于特征图恢复的场景分割方法，其中该特征超分辨率学习模块开始和结尾，分别具有尺寸为1×1的卷积层用于降低通道数和恢复通道数。

该基于特征图恢复的场景分割方法，其中根据该上采样特征图与该原始特征图的L2距离，构建损失函数：