[发明专利]语义分割网络训练和图像语义分割方法、装置及设备

权利要求书

1.一种语义分割网络训练方法，其特征在于，包括：

将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；

将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；

以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。

2.根据权利要求1所述的方法，其特征在于，所述分类网络中包含多个卷积层、金字塔池化层、全连接层以及激活函数；

在将样本图像输入至分类网络进行特征提取之前，还包括：

通过多个卷积层对样本图像进行特征提取，得到分类样本特征图；

通过金字塔池化层对所述分类样本特征图进行不同尺度下的特征融合，得到所述样本图像对应的样本特征向量；

通过全连接层和激活函数，对所述样本特征向量进行处理，得到样本图像的分类结果；

基于所述分类结果与样本图像的标签构建分类损失函数，并基于所述分类损失函数，对所述分类网络进行训练。

3.根据权利要求1所述的方法，其特征在于，将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域，包括：

将样本图像输入至分类网络进行特征提取，得分类样本特征图；

针对所述分类样本特征图，采用弱定位方法，生成特征热力图；

根据热力图分割阈值，对所述特征热力图进行分割，根据分割结果，确定所述样本图像中的种子区域。

4.根据权利要求1所述的方法，其特征在于，所述分割网络包括多个卷积层、池化层和Nonlocal模块；所述Nonlocal模块置于设定层数的卷积层之后；

将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果，包括：

将样本图像输入至分割网络，由分割网络中的多个卷积层和Nonlocal模块对样本图像进行特征提取，得到分割样本特征图；

确定所述样本图像对应标签的多热向量；

计算分割样本特征图和所述多热向量的张量积，得到初始分割结果。

5.根据权利要求1所述的方法，其特征在于，以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，包括：

根据所述初始分割结果中各像素点属于设定类别的概率，构建区域生长损失函数；

根据所述初始分割结果中各像素点属于设定类别的概率，以及各像素点针对设定类别的条件随机场的输出，构建条件随机场损失函数；

根据所述区域生长损失函数和条件随机场损失函数，确定分割网络损失函数；

根据所述分割网络损失函数，利用梯度下降法，对分割网络进行训练。

6.根据权利要求3所述的方法，其特征在于，在根据热力图分割阈值，对所述特征热力图进行分割，根据分割结果，确定所述样本图像中的种子区域之前，还包括：

根据预先设定的初始分割阈值，对所述特征热力图进行分割；

通过对分割结果与样本图像的语义分割结果计算交并比，确定热力图分割阈值。

7.一种图像语义分割方法，其特征在于，包括：

将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用如权利要求1-6所述的方法进行训练；

根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。