[发明专利]图像分割模型训练方法、图像分割方法、装置、设备及介质

说明书

本发明提供一种图像分割模型训练方法、图像分割方法、装置、设备及介质，该训练方法包括：获取样本数据集，所述样本数据集包含若干训练图像，各所述训练图像分别标注有对应的分割标签；根据所述样本数据集对预先建立的图像分割模型进行训练，所述图像分割模型包含编码器和解码器，其中，所述解码器采用子像素卷积网络进行上采样。本发明通过采用子像素卷积代替图像分割模型的解码器中常用的插值运算或转置卷积运算进行上采样，可以解决传统插值运算或转置卷积运算引入过多人工误差的问题，提高图像分割精度。

技术领域

本发明涉及图像处理领域，尤其涉及一种图像分割模型训练方法、图像分割方法、装置、设备及介质。

背景技术

图像语义分割任务是指将图像中的每一个像素赋予一个带有语义的标签。早期的语义分割算法采用的是FCN(全卷积网络)，FCN是一种端到端的卷积神经网络体系结构，这种算法可以针对任何尺寸的图像生成分割映射，但存在的问题是：在原始图像分辨上进行卷积运算开销大。为了解决这个问题，FCN采用了下采样和上采样处理，但由于池化等操作会使得大量信息丢失，导致FCN会生成比较粗糙的分割映射。为了得到更高效的分割效果，又出现了一种包含编码器、解码器的U形框架，在高分辨率的特征中引入跳跃连接(shortcut/skip connections)，以改善下采样和上采样后的粗糙分割映射。

目前的图像语义分割算法大多基于编码器-解码器网络框架。其中，编码器通常是一个预训练的分类网络，如VGG(visual geometry group，超分辨率测试序列)网络、Resnet(残差网络)等，编码器主要进行的是特征提取操作，通过下采样逐渐缩减输入数据的空间维度。不同算法的区别主要在于解码器，解码器主要是将编码器提取到的低分辨率特征投影到高分辨率空间，以获得更好的分割效果，目前解码器部分通常是采用插值运算或是转置卷积运算进行上采样，以实现分辨率的放大。传统的插值方法是最简单的也是常用的手段，其直接对特征图进行双线性上采样到指定的倍数，但其缺点是过于简单且无可学习的参数，容易引入人工误差，如果上采样倍数很多，分割效果将很差；转置卷积的优点是可训练，但缺点是有补零操作，也容易引入人工误差，效果也不是很理想，而且比较难训练。因而，无论图像分割模型的解码器采用插值运算还是转置卷积运算进行上采样，均无法达到满意的图像分割效果。

发明内容

针对上述现有技术的不足，本发明的目的在于提供一种图像分割模型训练方法、图像分割方法、装置、设备及介质，以提高图像分割效果。

为了实现上述目的，本发明提供一种图像分割模型训练方法，包括：

获取样本数据集，所述样本数据集包含若干训练图像，各所述训练图像分别标注有对应的分割标签；

根据所述样本数据集对预先建立的图像分割模型进行训练，所述图像分割模型包含编码器和解码器，其中，所述解码器采用子像素卷积网络进行上采样。

在本发明一个优选实施例中，当获取样本数据集后，所述方法还包括：

对所述样本数据集进行数据增强处理。

在本发明一个优选实施例中，所述编码器包含多个依次级联的编码模块，其中，不同所述编码模块用于提取不同尺寸的编码特征图像。

在本发明一个优选实施例中，所述编码器采用轻量级网络。

在本发明一个优选实施例中，所述解码器包含多个依次级联的解码模块，其中，不同所述解码模块以跳跃连接方式与对应所述编码模块相连，并且各所述解码模块分别包含所述子像素卷积模块以及与所述子像素卷积模块连接的残差块。

在本发明一个优选实施例中，所述子像素卷积模块包含卷积层、重塑层和转置层。

在本发明一个优选实施例中，所述根据所述样本数据集对预先建立的图像分割模型进行训练，包括：