[发明专利]低计算量及高度特征融合的实时语义分割方法

说明书

本发明公开了一种低计算量及高度特征融合的实时语义分割方法。该方法网络结构为基于深度可分离卷积的多分支特征跨层融合的编码‑解码结构。该方法利用不同分辨率的原始图像作为多分支的输入，再通过由深度可分离卷积组成的残差模块提取特征，之后对多分支的不同阶段进行特征传递，提高了各阶段特征利用率。本发明在Cityscapes数据集上进行测试，取得了很好的实验结果：达到112.3Fps和65.6％的mIoU。可以在满足计算精度的同时达到实时分割的效果。

技术领域

本发明涉及计算机视觉领域，特别是涉及低计算量及高度特征融合的实时语义分割方法。

背景技术

近年来，随着并行计算理论和硬件实现水平的不断突破，计算机视觉领域得到了极大的发展。尤其是2012年ILSVRC(ImageNet Large Scale Visual RecognitionChallenge)比赛中，基于卷积神经网络的AlexNet夺得分类项目的冠军，引发了深度学习的热潮，深度学习技术开始大放异彩。目前，在计算机视觉领域，深度学习，尤其是卷积神经网络，在各种视觉识别任务中，发挥着越来越重要的作用。

语义分割是对图像进行密集预测，推断每个像素的分类标签。主要应用于静态的2D图像、视频、甚至3D数据，是计算机视觉领域的关键问题之一。语义分割的主要目的是促进对完整场景的理解。越来越多的应用程序通过根据图像推断信息，使场景理解作为核心计算机视觉问题的重要性逐渐凸显。其中的应用包括自动驾驶、人机交互、计算机摄影、图像搜索引擎和增强现实等等。

传统的图像分割是非监督式学习问题，只是将相似的像素划分到一起，不必带有类别的训练样本。传统的计算机视觉和机器学习技术，已经可以解决场景理解的问题，但还是无法准确地分割出目标。而近年研究的图像语义分割是一种监督学习问题，要利用带有类别的训练样本进行目标识别。图像语义分割结合了分割与目标识别这两种技术，能够将图像分割成具有高级语义内容的区域。例如，通过语义分割，一幅图像能够分割成分别具有“车辆”、“行人”、“树”和“道路”四种不同语义的区域。

目前，最成功最先进的语义分割深度学习技术都源于全卷积神经网络,这种方法是利用现有的卷积神经网络作为强大的视觉模型，学习特征的层次结构。

2015年，UC Berkeley的Jonathan Long等人提出了用于语义分割的全卷积神经网络(Fully Convolutional Networks，FCN)。该方法将现有的和众

所周知的分类模型：AlexNet，VGG-16，GoogLeNet和ResNet转换为完全卷积的模型，即使用卷积替换完全连接层，输出空间特征图而不是分类得分数。这里使用反卷积进行上采样，从而生成密集的每像素标记输出。FCN被认为是深度学习解决语义分割问题的基石，因为它展示了如何利用CNN针对这个问题进行端到端的训练，并且有效地学习了对任意大小的输入进行密集预测。与传统方法相比，这种方法在在PASCAL VOC等标准数据集上的分割精度明显较高，同时还保持了计算的效率。

除了FCN架构之外，研究人员还开发了其他的变体网络，新的分割网络使用“编码-解码”的结构。编码过程是进行卷积提取特征并产生低分辨率图像或者特征映射。解码过程是将产生的低分辨率图像解码或映射到用于分割的像素预测。U-Net和SegNet就是基于“编码器-解码器”结构的语义分割网络，并且有着很好的性能，在分割任务中有着较好的表现。

现有的图像语义分割方法已经达到了较高精度的分割水平。但是对于自动驾驶等应用需要实时性较高的应用来说，语义分割庞大的计算量对其是一种巨大的挑战。在现有的实时语义分割方法中，主要有两类解决算法。有一类是利用视频帧之间的相关性，通过选取关键帧，减少冗余来进行视频语义分割。还有一类是通过降低计算成本的方法来提高算法运算的实时性。

所以，减小语义分割网络的计算量同时保证其语义分割精度是目前语义分割研究的一个热点问题。本发明选用降低计算量的方法来降低语义分割算法的运算时间，同时提高特征利用率，提高网络的计算精度。