[发明专利]基于轻量级卷积神经网络的实时图像语义分割方法及系统

说明书

本发明公开一种基于轻量级卷积神经网络的实时图像语义分割方法及系统，所述系统包括下采样单元、上采样单元和极致高效残差模块；下采样单元降低分辨率和改变通道数；上采样单元提升分辨率，并且改变通道数；极致高效残差模块由1D分解卷积、高效的深度可分离卷积和具有不同扩张率的扩张卷积构成，用于提取特征。本发明的整体网络架构是一种高效非对称多分支的编解码结构，没有使用额外的后处理策略和预训练模型，与目前最先进的轻量级网络模型相比，本发明提出的网络架构及分割方法实现了分割精度和实施效率之间的最佳平衡，成为解决实时图像语义分割任务的一种有效方法。

技术领域

本发明属于图像语义分割领域，具体涉及一种基于轻量级卷积神经网络的实时图像语义分割方法。

背景技术

语义分割一直是计算机视觉中十分重要的领域，随着深度学习的流行，语义分割任务也取得了巨大进展。而作为计算机视觉的核心问题，场景理解的重要性越来越突出，因为现实中越来越多的应用场景需要从影像中推理出相关的知识或语义(即由具体到抽象的过程)，这些应用包括自动驾驶，人机交互，计算摄影学，图像搜索引擎，增强现实等。基于深度学习的图像语义分割是最好的解决方案之一，因为它在分析复杂环境时具有足够的鲁棒性，将捕获的图像分成几个区域，并识别每个像素的类别(对象)，因此可以将其视为像素级分类。与目标检测和图像分类任务不同的是，图像语义分割识别图像中的对象类别，并找到对象在图像中的位置。此外，它还提供精确的对象边界信息。尤其是在自动驾驶领域，稳定可靠的周围场景分析对于安全驾驶环境而言至关重要。

近年来，卷积神经网络，特别是全卷积网络和编解码网络，已经成为解决语义分割问题的主要趋势。虽然通过设计更深更大的网络(例如VGGNet和ResNet)取得了令人瞩目的进展，但这些通常要消耗大量资源，不适用于移动设备，例如手机、机器人和无人驾驶飞机等，这些设备有内存限制且计算能力不足。为了适应需要实时预测和决策的现实场景，最近的研究更倾向于构建具有浅架构的轻量级网络，这种网络的设计思路可大致分为三类：(1)基于网络压缩的方法，通过剪枝技术移除预先训练的模型的冗余，以提高效率。(2)基于低比特的方法，如Xnor-net，使用量化技术来提高效率，其中所学习的模型权重由几位数而不是高精度浮点来表示。与网络压缩的方法不同的是这些模型通常不会改变网络结构，但分割的性能通常比较差。(3)基于轻量级卷积神经网络的方法，其计算成本低廉，这种网络常用到分解卷积来减小模型大小以提高效率。例如，ShuffleNets和MobileNets采用深度可分离卷积来节省计算预算，把标准卷积分解为深度卷积和1x1点卷积，先逐通道的卷积，再通过使用1x1点卷积学习输入通道的线性组合，来恢复通道依赖性，使得网络更高效。ERFNet将一个2D卷积(例如，3x3)分解成两个1D因子卷积(例如，3x1和1x3)，有效减少了网络参数，但特征提取能力有明显下降。还有一种使网络更轻量的方法是使用组卷积，其中输入通道和卷积核被相应地分解成若干组，各组再被独立卷积。尽管都取得了较好的结果，但先前的大多数网络为了降低模型复杂性倾向于采取浅的网络架构，这会削弱数据的表达能力，导致分割性能的下降。因此，追求分割准确性和实施效率之间的最佳平衡仍然是实时图像语义分割任务的一个开放性研究问题，也是目前轻量级网络设计任务中亟待解决的问题。

发明内容

发明目的：鉴于上述现有技术的缺陷与不足，本发明的目的旨在提出一种轻量级卷积神经网络架构，以用于实时的图像语义分割，实现模型分割准确性和效率之间的最佳平衡。

发明内容：本发明所述的一种基于轻量级卷积神经网络的实时图像语义分割方法，包括以下步骤：

(1)对输入的原始图像进行预处理，获得降采样图像并作为编码器的输入图像；

(2)利用下采样单元对降采样图像进行两倍的下采样，得到通道数为16的第一特征图；

(3)利用下采样单元第一特征图进行两倍的下采样，得到通道数为64的第二特征图；