[发明专利]基于多尺度结构的实时语义分割方法

权利要求书

1.一种基于多尺度结构的实时语义分割方法，其特征在于，对语义信息分支进行高维特征提取；建立上下文语义分支和空间分支；语义特征和空间特征输入特征融合模块进行特征融合，最终输出对应的预测图，实现语义分割任务；具体包括以下步骤：

步骤1：首先利用残差网络完成语义分支的高维特征图提取；

步骤2：构建空间分支，将高维特征图下采样1/4尺寸的特征图经过池化层，并与下采样1/16尺寸特征图经过上采样之后的结果合并为空间分支的输出特征图，作为特征融合模块的输入之一；将语义分支中ResNet提取特征中的倒数第二层结合上采样操作生成空间分支，作为补充空间细节信息的特征图，ResNet在提取特征过程中并未完全丢失空间信息，上采样操作以更小的计算量生成所需的特征图；另外，利用计算量较少的池化操作从ResNet中第一个Bottleneck的输出获取到原尺寸1/8大小的浅层特征图；

步骤3：构建语义分支，将ResNet的4个Bottleneck对应特征图分别经过卷积层，并在通道维度归一化为128维特征图，之后进行合并、压缩到适合特征融合模块输入的通道维度特征图，再经过上采样模块之后进入特征融合模块，

构建语义分支的具体方式如下：取消解码器阶段的级联结构，并移除原有网络中用于增强特征的ARM和Refines模块，使其仅保留ResNet残差网络的基干结构，结合ResNet四个卷积阶段语义信息和空间信息的变化规律，分别利用4个不同类型的卷积层：5×5、3×3、1×1和1×1大小的卷积核；结合上采样对4个残差阶段的特征图进行卷积操作，使得每个残差阶段均输出128维通道的1/16原图像空间尺寸的特征图；在这一过程中，不同阶段输出的特征图包含不同的层次的信息，低通道64维特征图经过扩张卷积操作获得输出包含丰富的空间信息也同样拥有少量的语义信息，将空间信息转移到了通道维度；而512维特征图经过上采样和标准卷积操作的输出包含丰富的语义信息和少量的空间信息，将语义信息转移到了空间尺度；

利用Concat层合并所有特征图，充分聚合深层、粗略、语义信息和浅层、细节、空间信息；并联结构的4层卷积包括标准卷积与扩张卷积，以应对多个不同尺寸特征图感受野的变化较大的问题，利用扩张卷积在适当缩小特征图的同时增加语义信息；卷积操作与感受野变化定义如下式：

其中，y是扩张卷积操作输出，y[i,j]表示扩张卷积输出横坐标为i、纵坐标为j点的输出值，r是扩张卷积的扩张率，x是输入特征图，K是卷积核大小，k用于从1到卷积核大小K的累加，w[k]是卷积核对应权重值，i,j是特征图上对应特征值；n表示的是第几个扩张卷积层，r_n是第n个卷积层中对应的感受野大小，k_n是第n个卷积操作的卷积步长；S_i表示的是第n个卷积层的步长；

步骤4：将步骤2步骤3获得的空间特征和语义特征进行特征融合，最终输出对应的预测图，实现语义分割任务；

针对模型的分割推理速度进行评价，采用评价语义分割速度的每秒预测帧数FPS，定义如下式：

其中，N是测试图片的数目，t_i是第i张图片的分割预测时间。

2.根据权利要求1所述的基于多尺度结构的实时语义分割方法，其特征在于：步骤1中高维特征的提取，以ResNet18浅层卷积神经网络作为基干模型，通过网络中预定义的卷积块对输入图像层提取语义特征，最终将图像映射到512维的具有原始图像尺寸1/32的特征图，合理的提取到高维的特征。