[发明专利]基于多尺度结构的实时语义分割方法

说明书

本发明公开一种基于多尺度结构的实时语义分割方法，首先对语义信息分支进行高维特征提取；然后建立上下文语义分支和空间分支；最后，语义特征和空间特征输入特征融合模块进行特征融合，最终输出对应的预测图，实现语义分割任务。本发明的并行语义信息分支中嵌入的多重卷积，集合了不同阶段的相应特征，并以较小的计算代价生成了一个强大的全局上下文特征表示。与BiSeNet相比，本发明实现了更快的速度和相当的性能，在基于ResNet18主干的城市景观数据集上，FPS指标为195.7，在语义分割推理速度FPS指标上远超BiSeNet，相当于每秒钟可以多计算45张左右分辨率为512×1024的图像。

技术领域

本发明属于图像视频信息智能处理技术领域，具体涉及一种基于多尺度结构的实时语义分割方法。

背景技术

语义分割作为深度学习领域的重要视觉任务之一，对于图像理解和场景解析是一项具有挑战性的技术，其应用范围十分广泛，其中视频处理领域对语义分割任务对深度卷积神经网络实现快速推理（Prediction）和实时（Real-Time）响应有更高的要求。在语义分割发展的历程中，涌现出了众多优秀的算法，致力于提高分割模型在精度水平的提高。时至今日，语义分割在精度提高的速度愈发缓慢，而在模型推理速度的提高使得模型的兼容性更强。

现有的实时语义分割算法，在优化卷积神经网络结构的同时，还会采取一些模型精简的方法，如模型压缩、知识蒸馏和模型剪枝等改进方案，通常是用精度换速度的策略。值得关注的是，网络结构的改进是实现实时语义分割任务最直接可行的研究方向。

目前的经典实时语义分割网络BiSeNet网络，在语义分支中采用类似U-shape的级联结构，然而这种类似U-shape的级联结构实现从高维特征恢复到原始大小仍然引入较多计算量，也会因此导致整个模型推理速度减慢。受限于深层语义特征图拥有较高通道数的弊端，在进行卷积等操作时，不可避免地使得计算量骤增。

申请号为202011137108.7的中国发明专利公开一种基于空间信息引导的实时语义分割方法，利用浅层的空间细节信息不断地引导深层的全局上下文特征向邻域传播，从而有效地对全局上下文特征中所丢失的空间信息进行重构该方式采用单流分割方式，该网络是一种典型的“ 编码器-解码器”的网络结构。其中，编码器旨在对输入图片进行编码，从而得到更加抽象、更加语义化的特征表达。在解码器部分，设计了轻量级的双向网络对编码后的特征进行解码，并在解码的过程中引入了空间细节信息的引导。该专利采用的是单流分割方式，参数量大，速度慢，不适用于快速处理大量图片的情况。

发明内容

本发明解决的技术问题：提供一种由改进空间分支并依据多尺度结构的语义分支结构组成的语义分割网络，实现参数量较少，处理速度更快的基于多尺度结构的实时语义分割方。

技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

一种基于多尺度结构的实时语义分割方法，对语义信息分支进行高维特征提取；建立上下文语义分支和空间分支；语义特征和空间特征输入特征融合模块进行特征融合，最终输出对应的预测图，实现语义分割任务。

基于多尺度结构的实时语义分割方法具体包括以下步骤：

步骤1：首先利用残差网络完成语义分支的高维特征图提取；

步骤2：构建空间分支，将高维特征图下采样1/4尺寸的特征图经过池化层，并与下采样1/16尺寸特征图经过上采样之后的结果合并为空间分支的输出特征图，作为特征融合模块的输入之一；

步骤3：构建语义分支，将ResNet的4个Bottleneck对应特征图分别经过卷积层，并在通道维度归一化为128维特征图，之后进行合并、压缩到适合特征融合模块输入的通道维度特征图，再经过上采样模块之后进入特征融合模块；

步骤4：将步骤2步骤3获得的空间特征和语义特征进行特征融合，最终输出对应的预测图，实现语义分割任务。