[发明专利]一种基于涂鸦的弱监督语义分割方法与系统

权利要求书

1.一种基于涂鸦的弱监督语义分割方法，其特征在于，包括：

步骤1、获取由多张训练图片构成的训练集，其中每张该训练图片均对应有涂鸦标记和边缘图；

步骤2、从该训练集中选取训练图片作为当前图片，将该当前图片输入至语义分割网络，得到该当前图片的高层语义特征；

步骤3、将该高层语义特征输入至预测修正网络，得到该当前图片的分割结果图，并根据该当前图片的涂鸦标记，得到该当前图片中涂鸦标记区域的交叉熵损失；

步骤4、将该高层语义特征输入至边界回归网络，得到该当前图片中目标的边界图，并根据该当前图片的边缘图，得到该边界图中边界区域的均值方差损失；

步骤5、以该交叉熵损失和该均值方差损失，构建总损失函数，并判断该总损失函数是否收敛，若是，则将当前该预测修正网络作为语义分割模型，否则继续执行该步骤2；

步骤6、将待语义分割的图片输入至该语义分割模型，得到该待语义分割的图片的分割结果图。

2.如权利要求1所述的基于涂鸦的弱监督语义分割方法，其特征在于，该预测修正网络包括：

将当前图片下采样两倍后进行多次卷积操作得到通道数为1的高分辨率低层特征，拼接该高分辨率低层特征和该高层语义特征得到融合特征，将该融合特征包含的多维特征图通过卷积层进行特征融合，得到中间特征图，上采样该中间特征图后继续与该高分辨率低层特征拼接融合，得到最终特征图，上采样该最终特征图得到与该当前图片同样尺寸的该分割结果图。

3.如权利要求1或2所述的基于涂鸦的弱监督语义分割方法，其特征在于，该边界回归网络包括：

将该高层语义特征经过归一化操作获得初始置信度图，对该初始置信度图中目标类别的通道进行最大值池化操作获得前景置信度图；将该初始置信度图中非目标类别的通道作为背景置信度图；拼接该前景置信图与该背景置信度图得到掩码特征图，该掩码特征图经过卷积层进行特征转换得到目标特征图，上采样该目标特征图获得与该当前图片同样尺寸的边界图。

4.如权利要求3所述的基于涂鸦的弱监督语义分割方法，其特征在于，该交叉熵损失为：

其中p代表第p个像素，是参数为θ₁的预测修正网络的预测概率值，l_scri(p)是像素点p处的涂鸦标记类别，PCE为交叉熵损失函数；

该均值方差损失为：

其中是参数为θ₂的边界回归网络的预测概率，l_edge(p)是边缘图中像素点p处的边缘标记，MSE是逐像素的均值方差损失函数；

该总损失函数为：L_total＝L_semantic+λL_boundary。

5.如权利要求1所述的基于涂鸦的弱监督语义分割方法，其特征在于，该语义分割网络为deeplab-v2网络。

6.一种基于涂鸦的弱监督语义分割系统，其特征在于，包括：

模块1、获取由多张训练图片构成的训练集，其中每张该训练图片均对应有涂鸦标记和边缘图；

模块2、从该训练集中选取训练图片作为当前图片，将该当前图片输入至语义分割网络，得到该当前图片的高层语义特征；

模块3、将该高层语义特征输入至预测修正网络，得到该当前图片的分割结果图，并根据该当前图片的涂鸦标记，得到该当前图片中涂鸦标记区域的交叉熵损失；

模块4、将该高层语义特征输入至边界回归网络，得到该当前图片中目标的边界图，并根据该当前图片的边缘图，得到该边界图中边界区域的均值方差损失；

模块5、以该交叉熵损失和该均值方差损失，构建总损失函数，并判断该总损失函数是否收敛，若是，则将当前该预测修正网络作为语义分割模型，否则继续执行该模块2；

模块6、将待语义分割的图片输入至该语义分割模型，得到该待语义分割的图片的分割结果图。