[发明专利]训练分割模型的设备和方法

说明书

公开了一种用于训练分割模型的设备和方法，其中，训练分割模型的方法包括：分割模型(204)为数字图像(106)生成分割图像(206)，该分割图像(206)包括描述数字图像(106)中的至少一个对象(202)的片段(208)；根据分割图像(206)的片段(208)来确定数字图像(106)的可预测性(212)；训练分割模型(204)，以减少根据分割图像(206)的片段(208)的数字图像(106)的可预测性(212)。

技术领域

各种实施例一般涉及训练分割模型的设备和方法。

背景技术

作为示例，对于自主驾驶，可以使用诸如相机传感器和/或视频传感器之类的成像传感器来提供车辆周围环境的数字图像。该数字图像可以图示对象（诸如汽车、自行车、行人、路牌等），并且可以使用分割模型通过语义分割来进行分割和分类，并且可以取决于经分割和分类的数字图像来控制车辆。因此，出于安全原因，分割模型有必要能够为数字图像中的对象提供具有清晰边界的片段。

诸如神经网络之类的各种模型被应用于计算机视觉领域。作为示例，神经网络可以被用来使用由成像传感器检测到的图像来生成分割图像。然而，分割图像的片段还可以包括不属于检测到的图像中示出的对象的像素。因此，可能有必要提供一种能够为检测到的图像生成具有分割对象的清晰对象边界的分割图像的模型。

在Arandjelovic等人的《具有复制粘贴GAN的对象发现》(arXiv：1905.11369，2019)中描述了一种生成对抗网络，其中，图像的分割部分被复制到另一幅图像中。

具有独立权利要求1（第一示例）和11（二十二示例）的特征的方法和设备使得能够对模型进行训练以生成具有改善的分割对象的对象边界的数字图像的分割图像。

模型可以是为输入数据提供输出数据的任何种类的算法。模型可以是差分模型。例如，模型可以是神经网络。

分割图像可以进一步包括片段的背景。本段中提到的特征结合第一示例提供了第二示例。

分割图像可以是二进制分割图像。分割图像可以包括用于片段的第一二进制值“1”和用于背景的第二二进制值“0”。在本段中提到的特征结合第一示例或第二示例提供了第三示例。

该数字图像可以是彩色图像，例如是RGB图像。在本段中提到的特征结合第一示例至第三示例中的任一个提供了第四示例。

根据分割图像的片段来确定数字图像的可预测性可以包括：使用分割图像的片段和数字图像来生成数字图像的片段。根据分割图像的片段来确定数字图像的可预测性可以进一步包括：根据数字图像的片段来确定数字图像的可预测性。分割模型可以被训练成减少（例如，最小化）根据数字图像的片段的数字图像的可预测性。因此，数字图像的片段的像素共享更高级别的抽象，该抽象更独立于其他像素。这具有的效果是，分割方法是在无监督的情况下训练的，即，仅使用数字图像而无人工监督。在本段中提到的特征结合第一示例至第四示例中的任一个提供了第五示例。

根据数字图像的片段来确定数字图像的可预测性可以包括：生成模型，其为数字图像的片段生成重建的数字图像。重建的数字图像可以是数字图像的预测。分割模型可以被训练成增加重建的数字图像与数字图像之间的差异。例如，训练分割模型以增加重建的数字图像与数字图像之间的差异可以包括通过将重建的数字图像与数字图像进行比较来确定第一损失值，并且可以通过增加（例如，最大化）第一损失值来训练分割模型。在本段中提到的特征结合第五示例提供了第六示例。

该方法可以进一步包括通过减小（例如，最小化）第一损失值来训练生成模型。本段中提到的特征结合第六示例提供了第七示例。