[发明专利]一种复杂场景图像中的小目标语义分割方法及系统

说明书

本发明公开一种复杂场景图像中的小目标语义分割方法，涉及图像处理技术领域，采用方案包括初步分割和小目标分割两部分；在初步分割部分，用数据集的样本图像训练初步分割网络，使初步分割网络可以对数据集的待分割图像进行粗糙的语义分割；在小目标分割部分，首先基于目标检测算法，将数据集构建为小目标识别数据集，利用小目标识别数据集的样本图像块训练小目标分割网络，使小目标分割网络可以对小目标识别数据集的待分割图像块进行精细的语义分割，其次利用精细语义分割结果修正相应的粗糙语义分割结果，得到该待分割图像最终的语义分割结果。本发明还公开一种小目标语义分割系统，其与前述方法相结合，对复杂场景图像中的小目标进行精细分割。

技术领域

本发明涉及图像处理技术领域，具体的说是一种复杂场景图像中的小目标语义分割方法及系统。

背景技术

分割是视觉理解的基础，分类是计算机视觉领域的核心问题，语义分割实现两者的结合，利用对每一个像素进行分类的方式直接完成端到端的分割与分类问题。卷积神经网络在图像分类、目标检测等领域内的优异表现使其被应用到语义分割技术中，可以提供比传统的分割或分类算法更强大的特征学习能力和分类能力，有效提高图像语义分割的准确性。尽管基于卷积神经网络的语义分割技术取得了巨大的成功，但是依然存在一些问题。

目前，全卷积神经网络(Fully Convolutional Networks，FCN)是将卷积神经网络引入到语义分割技术中，通过反卷积方法恢复卷积过程中降采样造成的图像尺寸缩小的问题，使其恢复到与输入图像尺寸一致，FCN对输入图像每个局部区域进行分类，得到较为粗糙的小尺寸分割图。该类算法取得了一定的成功，但同时存在如下缺点：

一、首先，FCN的感受野大小固定不变，因此当目标大于或小于感受野时有可能被错误分类；尤其是小目标物体，容易被错标记为与临近的大目标一致的类别。

二、其次，卷积过程中的降采样操作会丢失图像的位置、轮廓等细节信息，使得分割边缘过于平滑；这些原因均会导致小目标物体不能准确识别的问题。

三、除语义分割网络自身的原因以外，复杂场景图像中目标物体存在数量、尺寸上的差异，样本的不均衡问题也是导致小目标物体难以识别的原因之一。尤其是在一幅复杂场景图像中既包含小尺寸的目标又包含较大尺寸的目标、且数量差距过大时，直接通过FCN网络对这些目标同时处理，对所有像素采用相同的权重，必然会导致误分割等问题。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种复杂场景图像中的小目标语义分割方法及系统，从多个角度解决小目标识别难的问题。

首先，本发明提供一种复杂场景图像中的小目标语义分割方法，解决上述技术问题采用的技术方案如下：

一种复杂场景图像中的小目标语义分割方法，其特征在于,该方法包括初步分割和小目标分割两部分；

在初步分割部分，用数据集包含的全部样本图像训练初步分割网络，使得初步分割网络可以对数据集包含的待分割图像进行粗糙的语义分割；

在小目标分割部分，

首先，基于目标检测算法，将数据集构建为小目标识别数据集，小目标识别数据集包含样本图像块和待分割图像块，利用小目标识别数据集的样本图像块训练小目标分割网络，使得小目标分割网络可以对小目标识别数据集包含的待分割图像块进行精细的语义分割；

其次，利用待分割图像块的精细语义分割结果和小目标识别数据集中该待分割图像块在待分割图像中的位置信息，修正该待分割图像的粗糙语义分割结果，得到该待分割图像最终的语义分割结果。

在初步分割部分，基于DeepLab模型，用数据集包含的全部样本图像训练的初步分割网络为DeepLab分割网络，训练完成的DeepLab分割网络可以对数据集包含的待分割图像进行粗糙的语义分割。