[发明专利]一种基于双分支深度卷积神经网络的实时语义分割方法

权利要求书

1.一种基于双分支深度卷积神经网络的实时语义分割方法，其特征在于，包括以下几个步骤：

步骤1、预处理Cityscapes城市风景语义分割数据集，获得数据集中的原始图像；

步骤2、在数据集上重新训练深度卷积神经网络ResNet，提取深层语义特征；

步骤3、设计归一化卷积层组成的全局分支，并将ResNet不同阶段的特征图分别进行归一化卷积操作，获取相同维度的特征图进行通道维度合并；

步骤4、利用共享特征层和池化层，共享ResNet残差网络中不同阶段的特征信息，构建拥有丰富细节信息的局部分支；

步骤5、设计特征合并模块，融合全局分支与局部分支的特征映射图，整合不同尺度的特征信息，获得最终预测图；

步骤6、利用上采样操作实现预测图到原图像分辨率大小的映射变换；

步骤7、利用Softmax分类层对One-Hot编码的预测图中的每个像素都进行分类预测，最终获得图像分割结果；

2.根据权利要求1所述的基于双分支深度卷积神经网络的实时语义分割方法，其特征在于，步骤2所述在数据集上重新训练深度卷积神经网络ResNet，提取深层语义特征，具体如下：

在预处理后的大型的高分辨率城市风景Cityscapes语义分割数据集上训练ResNet-18残差神经网络模型，作为深度语义特征的提取器，对每个像素均进行类别预测并计算交叉熵损失并结合反向传播算法训练，每个像素对应损失函数为：

其中，pixel_loss表示每个像素的经过卷积神经网络计算后的损失，classes表示语义分割模型所有预测类别数，y_true表示一个One-Hot矩阵，每个元素对应矩阵中的一个One-Hot向量，元素只有0和1两种取值，如果该类别与样本类别相同为1，如果该类别与样本不一致则为0，y_pred表示预测样本属于当前类别的概率；

其中，bp_loss表示整个图像反向传播的总损失，w,h分别表示整个图像对应的宽度和高度，pixel_loss_ij表示对应第i行，第j列像素的损失；

3.根据权利要求1所述的基于双分支深度卷积神经网络的实时语义分割方法，其特征在于，步骤3所述将设计归一化卷积层组成的全局分支，并将ResNet不同阶段的特征图分别进行归一化卷积操作，获取相同维度的特征图进行通道维度合并，具体如下：

利用残差网络ResNet中残差块实现深度卷积神经网络，同时可以避免由于网络层加深带来的过拟合现象，其中残差块实现的特征映射为：

其中，X为残差块的输入特征图，F(X)表示残差块实现的特征映射函数，表示经过残差块之后的输出特征图，该残差连接结构使得网络收敛更快速。

在ResNet残差网络的不同阶段使用归一化卷积层，将不同通道维度、不同空间维度的特征图利用卷积操作，归一化到完全相同的尺寸特征图，实现高维特征图与低维特征图的特征融合，其中归一化卷积操作定义为：

其中，k,c,i,j分别为对应第k层的特征图c通道、第i行、第j列，y_c,i,j为输出特征图对应位置像素的特征值，w(k_c,0,k_i,k_j)表示卷积操作中卷积核的权重参数，x(k_c,i+k_i,j+k_j)表示在卷积操作中输入特征图对应卷积核大小的特征值，表示在第k层网络层的第c个通道的偏置参数。