[发明专利]语义分割方法、装置和系统及存储介质

说明书

本发明实施例提供一种语义分割方法、装置和系统以及存储介质。该方法包括：获取待处理图像；将待处理图像输入U型网络，以获得U型网络输出的待处理图像的语义分割结果，其中，U型网络的收缩路径包括依次连接的n个卷积模块，n个卷积模块中的第i个卷积模块的输出特征与在第i个卷积模块之后的至少一个卷积模块的输出特征结合到一起，结合后的特征跳跃连接到U型网络的扩张路径中的、与第i个卷积模块相对应的反卷积层的输出端，其中，n是大于1的整数，1≤i＜n。根据本发明实施例的语义分割方法、装置和系统以及存储介质，由于采用浅层特征和深层特征能够很好融合的改进的U型网络，因此可以获得更准确的语义分割结果。

技术领域

本发明涉及计算机领域，更具体地涉及一种语义分割方法、装置和系统以及存储介质。

背景技术

语义分割(semantic segmentation)是计算机视觉中一个比较基本的任务。目前用卷积神经网络(CNN)来解决这个任务主要还是沿袭全卷积网络(Fully ConvolutionalNetwork)的方法，因为语义分割任务需要对图像上的每个像素点进行分类。目前一种比较主流的用于语义分割的网络结构是U型网络(即U-Net)。现有的U-Net尚存在改进的空间。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种语义分割方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种语义分割方法。该方法包括：获取待处理图像；将待处理图像输入U型网络，以获得U型网络输出的待处理图像的语义分割结果，其中，U型网络的收缩路径包括依次连接的n个卷积模块，n个卷积模块中的第i个卷积模块的输出特征与在第i个卷积模块之后的至少一个卷积模块的输出特征结合到一起，结合后的特征跳跃连接到U型网络的扩张路径中的、与第i个卷积模块相对应的反卷积层的输出端，其中，n是大于1的整数，1≤i＜n。

示例性地，对于第i个卷积模块之后的至少一个卷积模块中的每一个，该卷积模块的输出特征输入卷积层，卷积层的输出特征输入上采样层，第i个卷积模块之后的至少一个卷积模块所对应的所有上采样层的输出特征与第i个卷积模块的输出特征进行元素对应乘，元素对应乘的结果为结合后的特征。

示例性地，方法还包括：获取训练图像以及对应的分类标注数据，分类标注数据用于指示训练图像属于至少一个预定类别的概率；将训练图像输入U型网络；对于n个卷积模块中的一个或多个卷积模块中的每一个，将该卷积模块的输出特征输入与该卷积模块相对应的语义监督模块，以获得语义监督模块输出的训练图像的分类结果；对于n个卷积模块中的一个或多个卷积模块中的每一个，基于分类结果与分类标注数据计算该卷积模块对应的分类损失；基于一个或多个卷积模块对应的分类损失计算总的损失；基于总的损失优化U型网络，以获得经训练的U型网络。

示例性地，与一个或多个卷积模块中的每一个相对应的语义监督模块包括两个卷积层、全局池化层、全连接层和分类函数层。

示例性地，对于n个卷积模块中的第2个卷积模块至第n-1个卷积模块中的至少一个卷积模块中的每一个，该卷积模块包括的残差卷积单元的数目与n个卷积模块包括的残差卷积单元的总数目之间的比例大于该卷积模块对应的预设比例。

示例性地，n等于5，n个卷积模块中的第2个卷积模块至第n个卷积模块包括的残差卷积单元的数目分别为8，8，9，8。

根据本发明另一方面，提供了一种语义分割装置，包括：第一获取模块，用于获取待处理图像；第一输入模块，用于将待处理图像输入U型网络，以获得U型网络输出的待处理图像的语义分割结果，其中，U型网络的收缩路径包括依次连接的n个卷积模块，n个卷积模块中的第i个卷积模块的输出特征与在第i个卷积模块之后的至少一个卷积模块的输出特征结合到一起，结合后的特征跳跃连接到U型网络的扩张路径中的、与第i个卷积模块相对应的反卷积层的输出端，其中，n是大于1的整数，1≤i＜n。