[发明专利]用于图像语义分割的方法和装置

说明书

本公开提供了用于图像语义分割的方法和装置，涉及人工智能领域，具体为计算机视觉和深度学习技术领域。具体实现方案为：获取待语义分割的图像；将图像输入线性变换层，得到特征序列；将特征序列输入自注意力网络，得到特征矩阵，其中自注意力网络由自注意力变换层、自注意力下采样层、自注意力上采样层中的至少一层组成；将特征矩阵输入分类器，得到图像分割结果。该实施方式完全抛弃了卷积层，整个网络纯粹由自注意力变换层组成，能够很好的获取到全局信息，从而提高图像语义分割的准确性。

技术领域

本公开涉及人工智能领域，尤其是计算机视觉和深度学习技术领域，具体为用于图像语义分割的方法和装置。

背景技术

语义分割是一个视觉技术中非常重要的一个领域，在短视频、自动驾驶、遥感、医疗影像等领域都有广泛的应用。

现在最好的语义分割网络都是基于深度卷积网络开发的，但卷积网络自身是有一定的限制的，它每个位置的感受野大小是固定的，仅能看到局部的信息。这就导致了很多场景下，一些大的物体反而分割结果不好。现在的摄像头像素越来越高，拍摄的图片越来越大，卷积网络已经很难看到整张图像的信息。

发明内容

本公开提供了一种用于图像语义分割的方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种用于图像语义分割的方法，包括：获取待语义分割的图像；将图像输入线性变换层，得到特征序列；将特征序列输入自注意力网络，得到特征矩阵，其中自注意力网络由自注意力变换层、自注意力下采样层、自注意力上采样层中的至少一层组成；将特征矩阵输入分类器，得到图像分割结果。

根据本公开的第二方面，提供了一种用于图像语义分割的装置，包括：获取单元，被配置成获取待语义分割的图像；变换单元，被配置成将图像输入线性变换层，得到特征序列；检测单元，被配置成将特征序列输入自注意力网络，得到特征矩阵，其中自注意力网络由自注意力变换层、自注意力下采样层、自注意力上采样层中的至少一层组成；分类单元，被配置成将特征矩阵输入分类器，得到图像分割结果。

根据本公开的第三方面，提供了一种用于图像语义分割的电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面中任一项所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。

本公开的实施例提供的用于图像语义分割的方法和装置，可以将任意一个深度卷积网络的宏观结构迁移到对应的纯深度自注意力变换网络上，将深度卷积网络的前几个池化层和卷积层替换为输入线性变换层，将其他卷积层替换为自注意力变换层，将池化层替换为自注意力下采样层，将上采样层替换为自注意力上采样层。就能得到一个有效的纯深度自注意力变换网络，用于图像的分割，从而可以扩大感受野，看到全局信息。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的用于图像语义分割的方法的一个实施例的流程图；

图3是根据本公开的用于图像语义分割的方法的一个应用场景的示意图；