[发明专利]目标分割系统及其训练方法、目标分割方法及设备

说明书

本发明公开了一种目标分割系统及其训练方法、目标分割方法及设备。该系统包括：语义感知网络，采用全卷积网络形式，包括卷积模块、池化模块和正则化模块，语义感知网络设置为提取图像的语义特征图；纹理感知网络，采用无池化的网络形式，包括串行排列的空洞卷积层、特征收缩层、特征扩展层和第一卷积层，纹理感知网络设置为提取图像的纹理特征图；特征融合层，设置为对所述语义特征图和所述纹理特征图进行拼接和融合，得到所述图像的目标分割图。本发明提出了一种双分支多尺度特征融合模型，提高了自然图像中多尺度目标分割的准确性和鲁棒性。

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种目标分割系统及其训练方法、目标分割方法及设备。

背景技术

图像分割是计算机视觉领域的经典问题，是为完成场景理解的重要途径之一。越来越多的应用和场景从图像中获取知识，如自动驾驶，人机交互，智能机器人，和增强现实等，这凸显了图像分割作为计算机视觉的核心问题的重要性。图像分割可以定义为一种特定的图像处理技术，用于将图像分为两个或多个有意义的区域。图像分割也可以看作是定义图像中各个语义实体之间边界的过程。从技术角度来看，图像分割是为图像中的每个像素分配标签的过程，以使属于同一类别的像素属于图像中的唯一语义实体。目标分割是图像分割中的重要分支，旨在通过算法实现图像中前景目标像素级的标签预测，为自动驾驶、机器人的自动避障提供了切实可用的方案。

尽管目标分割在深度框架的推动下有了实质性的进展，但多尺度的目标检测和分割始终是一个亟待解决的问题。复杂背景下的小尺寸物体与超大尺度物体都会严重影响分割算法的性能。现有的分割模型多基于全卷积神经网络，卷积结构能够一定程度上保留特征图的空间信息。但当前深度学习中追求的网络深度会使这种结构忽视浅层的纹理信息，必然造成网络对多尺寸目标缺乏感知能力。

发明内容

本发明提供一种一种目标分割系统及其训练方法、目标分割方法及设备，以解决现有技术中存在的上述问题。

第一方面，本发明实施例提供了一种目标分割系统，该系统包括：

语义感知网络，采用全卷积网络形式，包括卷积模块、池化模块和正则化模块，所述语义感知网络设置为获取图像的第一预处理数据，基于所述第一预处理数据提取所述图像的语义特征图；

纹理感知网络，采用无池化的网络形式，包括串行排列的空洞卷积层、特征收缩层、特征扩展层和第一卷积层，所述纹理感知网络设置为获取所述图像的第二预处理数据，基于所述第二预处理数据提取所述图像的纹理特征图；

特征融合层，与所述语义感知网络和所述纹理感知网络连接，设置为对所述语义特征图和所述纹理特征图进行拼接和融合，得到所述图像的目标分割图。

在一实施例中，所述语义感知网络包括串行排列的VGGNet骨干网络和上采样层，其中，

所述VGGNet骨干网络包括多个串行排列的卷积模块，每个卷积模块包含串行排列的VGG卷积层、最大池化层、批正则化层和非线性层，所述VGGNet骨干网络设置为基于所述第一预处理数据，提取所述图像的高级语义特征，得到第一特征图；

所述上采样层设置为对所述第一特征图进行尺度放大，得到所述语义特征图，其中，所述语义特征图与所述图像尺度相同。

在一实施例中，在所述纹理感知网络中，

所述空洞卷积层的数量为多个且串行排列，所述多个空洞卷积层设置为对所述第二预处理数据进行空洞卷积操作，提取所述图像的浅层纹理特征，得到第二特征图；

所述特征收缩层包括第二卷积层，设置为所述第二特征图进行通道维度的升维卷积操作，实现所述第二特征图在通道级别的降维；

所述特征扩展层包括第三卷积层，设置为对所述降维后的第二特征图进行通道维度的降维卷积操作，实现降维后的第二特征图在通道级别的升维；