[发明专利]一种基于深度学习的超像素分割方法

说明书

本发明公开了一种基于深度学习的超像素分割方法，具体包括针对编码器部分的网络过参数化、网络剪枝和解码器部分的TPT(Top‑down‑top)解码结构，本发明基于深度学习并具备端到端学习能力，具备与其他视觉任务更充分的融合能力，进而可以促进其它视觉任务的快速发展。该发明的方法步骤大体分为三个阶段：网络搜索策略中的网络过参数化阶段；网络搜索策略中的网络剪枝阶段；网络解码能力强化并重新训练阶段。本发明在编码器特征提取过程中的边界捕捉能力和解码器超像素分割过程中的结构保留能力均有提升，能有效减少错分割现象的出现，同时其在网络过参数化、网络剪枝和TPT解码器结构设计上具有很好的可解释性，并且其方法计算效率高，超像素分割速度可以达到实时。

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于深度学习的超像素分割方法。

背景技术

超像素分割是一种图像过分割技术，它依据图像的空间、色彩、纹理等底层特征将图像快速分割为具有一定数量的子区域，相比于传统方法中的基本图像处理单元——像素，超像素更有利于局部特征的提取和结构信息的表达，并且可以大幅降低后续视觉任务的计算代价，该技术是计算机视觉研究中的一个重要课题。超像素分割技术在语义分割、光流计算、深度估计等需要获取准确目标边界和具备实时性要求的计算机视觉任务上普遍应用。

卷积神经网络中低层次的特征如色彩、梯度、纹理等有利于提取边缘，其高层次语义特征有利于捕捉目标边界。基于此优点，Jampani等在2018年ECCV上发表的论文《Superpixel Sampling Networks》和Tu等在2018年CVPR上发表的论文《LearningSuperpixels with Segmentation-Aware Affinity Loss》中均提出了基于卷积神经网络的超像素分割算法。其二者算法思路均为通过基于卷积神经网络的编码器对传统的图像空间、色彩特征进行编码，使用编码后的特征代替传统手工特征，并后接传统方法完成超像素分割任务。Yang等在2020年CVPR上发表的论文《SpixelFCN:Superpixel Segmentationwith Fully Convolutional Network》中提出了基于全卷积编解码网络的超像素分割算法，其不同于上述工作编码器与传统超像素分割算法融合的策略，超像素分割由编码器和解码器构成的卷积神经网络独立完成。

但是，上述方法各自存在弊端。上述方法提出的编码器在边界捕捉上仍然存在严重的丢失问题，同时采用传统超像素分割方法作用在高维特征上的方式极大增加了算法的计算代价；另一方面，采用基于卷积神经网络结构的解码器在解码过程中容易损失特征信息，进而造成超像素分割产生结构信息损失。

综上所述，目前基于深度学习的超像素分割算法存在的边界丢失严重、计算代价过大、结构性信息损失等问题均不利于超像素分割算法与其他计算机视觉任务相互融合，如何同时改善以上问题成为目前的研究热点。

发明内容

针对上述现有技术中存在的不足，本发明的主要目的是提供一种在目标边界捕捉、结构性信息保留和计算效率三方面同时较优的超像素分割方法。该方法基于深度学习并具备端到端训练和学习能力，作为图像预处理技术具备与其他计算机视觉任务更充分的融合能力。

本发明提供了一种基于深度学习的超像素分割方法，该方法包含以下步骤：

S1:网络模型初始化。首先选用U型编解码网络作为初始网络，所述的U型编解码网络结构由编码器和解码器两部分构成，并且在编码器和解码器相同尺度位置处具备跨层连接；