[发明专利]语义分割方法、装置和系统及存储介质

说明书

本发明实施例提供一种语义分割方法、装置和系统以及存储介质。该方法包括：获取待处理图像；将待处理图像输入U型网络，以获得U型网络输出的待处理图像的语义分割结果，其中，U型网络的扩张路径包括至少一个上采样模块，在至少一个上采样模块的每一个中，将输入特征中分别位于p个通道上的同一位置处的p个元素变换为同一通道上的相邻的p个元素，以获得变换后的特征，并将变换后的特征输入后续网络结构，其中，n是大于1的整数，1≤i＜n。上述方法可获得更准确的语义分割结果。

技术领域

本发明涉及计算机领域，更具体地涉及一种语义分割方法、装置和系统以及存储介质。

背景技术

语义分割(semantic segmentation)是计算机视觉中一个比较基本的任务。目前用卷积神经网络(CNN)来解决这个任务主要还是沿袭全卷积网络(Fully ConvolutionalNetwork)的方法，因为语义分割任务需要对图像上的每个像素点进行分类。目前一种比较主流的用于语义分割的网络结构是U型网络(即U-Net)。现有的U-Net尚存在改进的空间。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种语义分割方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种语义分割方法。该方法包括：获取待处理图像；将待处理图像输入U型网络，以获得U型网络输出的待处理图像的语义分割结果，其中，U型网络的扩张路径包括至少一个上采样模块，在至少一个上采样模块的每一个中，将输入特征中分别位于p个通道上的同一位置处的p个元素变换为同一通道上的相邻的p个元素，以获得变换后的特征，并将变换后的特征输入后续网络结构，其中，n是大于1的整数，1≤i＜n。

示例性地，U型网络的收缩路径包括依次连接的n个卷积模块，将待处理图像输入U型网络，以获得U型网络输出的待处理图像的语义分割结果包括：将待处理图像输入n个卷积模块中的第一个卷积模块；对于n个卷积模块中的第m个至第n个卷积模块中的至少一个卷积模块中的每一个，将该卷积模块的输出特征输入至该卷积模块对应的跳跃连接模块；对于至少一个卷积模块中的每一个，将跳跃连接模块的输出特征输入至该卷积模块对应的上采样模块以获得所述变换后的特征，或将所述跳跃连接模块的输出特征输入至该卷积模块对应的合并模块以获得合并后的特征，并将所述合并后的特征输入至该卷积模块对应的上采样模块以获得所述变换后的特征，其中，该卷积模块对应的上采样模块为所述至少一个上采样模块之一；对于至少一个卷积模块中的每一个，将变换后的特征输入在该卷积模块之前的上一卷积模块所对应的合并模块，在合并模块中，将变换后的特征与在该卷积模块之前的上一卷积模块所对应的跳跃连接模块的输出特征进行合并，并将合并后的特征输入后续网络结构，后续网络结构用于输出待处理图像的语义分割结果，其中，n是大于1的整数，1＜m＜n，p是大于1的整数。

示例性地，方法还包括：获取训练图像以及对应的分割标注数据，分割标注数据用于指示训练图像中的每个像素属于至少一个预定类别的概率；将训练图像输入U型网络；对于至少一个卷积模块中的每一个，将该卷积模块对应的上采样模块的输出特征输入到该卷积模块对应的辅助监督模块，以获得辅助监督模块输出的训练图像的语义分割结果；对于至少一个卷积模块中的每一个，基于训练图像的语义分割结果与分割标注数据计算该卷积模块对应的分类损失；基于至少一个卷积模块对应的分类损失计算总的损失；基于总的损失优化U型网络，以获得经训练的U型网络。

示例性地，辅助监督模块包括依次连接的大小调整模块、通道调整模块和第一分类函数层，其中，大小调整模块用于将上采样模块的输出特征的大小调整到与训练图像的大小一致，通道调整模块用于将大小调整模块的输出特征的通道数调整到预定数目，第一分类函数层用于基于通道调整模块的输出特征预测训练图像中的每个像素属于至少一个预定类别的概率。

示例性地，大小调整模块包括至少一个卷积层和/或至少一个池化层，和/或通道调整模块包括至少一个卷积层。