[发明专利]一种基于深度特征的实时图像语义分割方法

权利要求书

1.一种基于深度特征的实时图像语义分割方法，其特征在于，包括以下步骤：

(1)将训练集待分割图像进行数据的标准化和图像的裁剪变换，将处理后的待分割图像输入包括通道注意力模块和空间注意力模块的图像语义分割网络，经过前向传播得到语义分割后的图像；

(2)计算语义分割后的图像和目标图像之间的损失，并使用损失进行图像语义分割网络的反向传播，更新图像语义分割网络权重，返回步骤(1)直至达到设定的迭代次数，得到训练好的图像语义分割网络；

(3)加载测试集的数据，通过训练好的图像语义分割网络进行处理，得到图像语义分割结果，并计算评估指标，根据评估指标进行图像语义分割网络性能的判定，若不满足预期要求，则返回步骤(1)，若达到预期的性能，则保存模型；

其中，步骤(1)中图像语义分割网络的前向传播具体为：将输入的待分割图像h*w*c，经过一个标准卷积层和一个深度卷积层，然后进入注意力学习模块，得到引入了注意力机制的特征表示，经过注意力学习模块后，进入深度可分离卷积层，输出分为两个支路；一个支路依次经bottleneck模块和金字塔池化模块，再经过上采样处理、深度卷积层和普通卷积层，得到输出特征，另一个支路经过一个普通卷积层，得到输出特征；将两个支路的输出特征相加，并使用激活函数进行非线性变换；最后依次通过两个深度可分离卷积、一个卷积核大小为1×1的卷积以及一个上采样操作，得到分割后的图像；其中，h为图像高度，w为图像宽度，c为图像通道数。

2.根据权利要求1所述的一种基于深度特征的实时图像语义分割方法，其特征在于，bottleneck模块内部通道数与输入端通道数的比值设定为6，步长为2，使用三个1×1的卷积核和三个3×3的卷积核。

3.根据权利要求1所述的一种基于深度特征的实时图像语义分割方法，其特征在于，注意力学习模块包括：通道注意力学习模块和空间注意力学习模块；输入特征进入通道注意力学习模块，先分别进行全局最大池化和平均池化，得到两个1*1*C的通道描述，C为通道数，再将两个通道描述分别对应送入两层的全连接层，分别得到两个特征，然后再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重M_c(F)：

M_c(F)＝σ(MLP(MaxPool(F)+MLP(AvgPool(F)))

将权重M_c(F)与输入特征相乘，得到中间特征，将中间特征输入空间注意力学习模块，在空间注意力学习模块中，先进行一个通道维度的最大池化和平均池化得到两个h*w*1的通道描述，并将这两个描述按照通道拼接在一起，然后经过一个卷积层，并通过Sigmoid激活函数后得到权重M_s(F)：

M_s(F)＝σ(f^7*7([MaxPool(F),AvgPool(F)]))

其中，F为输入特征，MLP表示全连接层；

最后将权重M_s(F)与中间特征相乘，得到引入了注意力机制的特征表示。

4.根据权利要求3所述的一种基于深度特征的实时图像语义分割方法，其特征在于，两层的全连接层中第一层神经元个数为C/r，r为缩减比例，激活函数为ReLU，第二层神经元个数为C。

5.根据权利要求1所述的一种基于深度特征的实时图像语义分割方法，其特征在于，步骤(2)中计算语义分割后的图像和目标图像之间的损失，并使用损失进行图像语义分割网络的反向传播，更新图像语义分割网络权重，具体为：

使用交叉熵损失函数计算损失结果，公式如下：

其中，j表示需要推理的像素点，y_i表示正确值即目标图像，P_j表示预测值即语义分割后的图像；

得到损失函数值后，采用Adam与LookAhead融合的优化器通过反向传播更新图像语义分割网络参数。