[发明专利]用于图像分割的优化装置和方法以及预测装置和方法

说明书

提供了一种用于图像分割的优化装置和方法以及预测装置和方法。所述预测方法包括：获取输入图像中的像素属于多种预设类别中的每种类别的概率；基于像素属于与多类别区域对应的类别的概率与预定阈值的比较结果，确定像素的类别是与所述多类别区域对应的类别或者是根据像素属于多种预设类别中的每种类别的概率而确定的类别。同时，可以使用人工智能模型来执行由上述用于图像分割的优化/预测装置执行的用于图像分割的优化/预测方法。

技术领域

本申请总体涉及图像处理领域，更具体地讲，涉及一种用于图像分割的优化装置和方法以及预测装置和方法。

背景技术

图像分割是对二维图像上的每个像素赋给一个类别标签信息的过程。图像分割是一种分类任务，对每个像素预测其类别。在这样的分类任务中，一般需要类别之间是明显可区分的，即，标注为同一类别的像素，表观特征很相似，而标注为不同类别的像素，表观特征差异较大。这样比较容易学习出一个高精度的分类器。

图1(a)和(b)示出图像分割的一个示例，图1(a)示出原始的输入图像，图1(b)示出图像分割的结果图像并且图像中相同色块的像素属于相同类别。例如，假设图像分割算法的输入图像为x，其尺寸为W*H*3(即，图像高度为H，宽度为W，3表示图像有三个通道，分别为R、G和B)，图像分割算法的输出为Sem图像，该图像的尺寸为W*H，并且该图像中的每个像素和输入图像x中的同位置的像素对应且每个像素的像素值表示输入图像上该像素的类别，像素值的取值范围为0、1、2、…、Last，Last等于类别数N减去1。通常，类别以及类别数量均为预先定义的，例如，假设共有5种类别，分别是道路、天空、建筑物、人和车，则Sem图像上的像素值可以为0、1、2、3或4，分别对应于预先定义的所述5种类别。

然而，现有技术的方案隐含了对像素所属类别的一个假设，即每个像素仅属于一种类别。这个假设对某些场景类型是有问题的，典型情况如图2(a)所示。在该图中，圆圈内是城市里常见的绿植被稀疏的栅栏所包裹的场景。在这种场景中(简称为半遮挡场景)，前景内容(即，栅栏)不能完全挡住背景内容(即，绿植)，该半遮挡区域(或称为半遮挡内容)内的像素具有明显的背景内容的表观信息，人可以很容易地分辨出背景内容的类别，但通过现有技术的图像分割算法，整片区域(包括栅栏条所在的像素和栅栏条之间的没被挡住的绿植所在的像素)都被标注为“栅栏”类别，参见图2(b)。

对于图2(a)中所示的半遮挡场景，虽然在图2(b)被标注为“栅栏”，但是该区域中的许多像素的表观特征和类别“绿植”非常相似，这样不同类别容易混淆，使用这样的图像难以学习到精度很高的分类器。

因此，需要一种对于像素类别唯一性假设不成立的图像也能够获得更高的分割精度的图像分割方法。

发明内容

为了至少解决现有技术中的上述问题，本申请提供了一种用于图像分割的优化装置和方法以及预测装置和方法。

根据本发明的一方面，提供了一种用于图像分割的优化方法，所述优化方法包括：获取多类别图像；使用多类别图像对第一像素分类器进行优化，其中，所述多类别图像的像素在多类别区域具有至少两种类别。

可选地，所述获取多类别图像的步骤可包括：获取单类别图像，其中，所述单类别图像的像素在所述多类别区域具有一个第一类别；对获取的单类别图像中处于多类别区域的像素分配第二类别，得到所述多类别图像。

可选地，所述分配第二类别的步骤可包括：使用第二像素分类器对单类别图像中的每个像素属于多种预设类别中的每种类别的概率进行预测；根据预测出的多类别区域中的每个像素的类别中除第一类别之外的其它类别的概率，确定该像素的第二类别。