[发明专利]一种实例分割的方法及装置

说明书

本申请涉及人工智能领域中的计算机视觉技术领域，公开了一种实例分割的方法及装置，用以提出一种实例分割的方式。待训练的分割网络对被标记实例的像素的样本原始图像中的每个实例组进行如下处理，每个实例组包括被标记的至少一个实例：预测至少两个不同的第一基础特征图，以及每个第一基础特征图分别对应的第一注意力特征图；将至少两个第一基础特征图和分别对应的第一注意力特征图的像素值进行加权处理得到第一特征融合图；根据第一特征融合图和样本原始图像，对待训练的分割网络进行训练；第一注意力特征图中的每个像素的像素值表示其对应的第一基础特征图中对应位置的像素的权重值。分割模型可以精确地确定出原始图像中的实例像素。

技术领域

本申请实施例涉及计算机视觉技术领域，尤其涉及一种实例分割的方法及装置。

背景技术

图像分割(image segmentation)技术是图像语义理解的重要一环。目前的图像分割任务主要有：语义分割(semantic segmentation)和实例分割(instancesegmentation)。语义分割是将图像中的实例划分出对应的类别，如：人、猫、狗等类别，不区分属于相同类别的不同实例。例如，当图像中有多只猫时，语义分割会将多只猫整体的所有像素点预测为“猫”这个类别。实例分割还需在具体类别的基础上区别不同的实例，例如区分出哪些像素点属于第一只猫、哪些像素点属于第二只猫。

随着移动端的视频及图像应用越来越广泛，实例分割的必要性越来越得到凸显，在人像拍照、视频特效、AR场景中是不可或缺的重要技术。如何精确地进行实例分割，是急需解决的技术问题。

发明内容

本申请实施例提供一种实例分割的方法及装置，用以提出一种实例分割的方式。

第一方面，提供了一种实例分割的方法，终端预先训练出实例的分割网络，当获取到原始图像后，可以将原始图像输入到训练完成的分割网络中，所述分割网络可以输出所述原始图像对应的至少一个特征融合图，每个特征融合图中包括至少一个实例。特征融合图的作用是用来标记所述原始图像包括的实例的像素，则分割网络输出的任一特征融合图可以用于标记所述特征融合图中包括的至少一个实例的像素。

在训练分割网络时，可以将样本原始图像输入到待训练的分割网络中，所述样本原始图像被标记至少一个实例的像素。所述待训练的分割网络可以对所述样本原始图像中的每个实例组进行如下处理，每个实例组中包括至少一个被标记的实例：预测至少两个不同的第一基础特征图，以及针对每个第一基础特征图预测其对应的第一注意力特征图。所述第一注意力特征图与所述第一基础特征图的尺寸相同，所述第一注意力特征图中的每个像素的像素值表示其对应的第一基础特征图中对应位置的像素的权重值，所述第一注意力特征图中存在像素值不同的像素。待训练的分割网络可以将所述至少两个第一基础特征图和分别对应的所述第一注意力特征图中的像素值进行加权处理，预测出第一特征融合图，并根据所述第一特征融合图和所述样本原始图像，对所述待训练的分割网络进行训练。

通过上述对被标记实例像素的样本原始图像提取第一基础特征图和第一注意力特征图，得到第一特征融合图，采用第一特征融合图和所述样本原始图像对分割模型进行训练。这种方式训练出的分割模型可以精确、快速地确定出后续输入的原始图像中的实例像素，以实现精确地对原始图像中的实例进行分割。并且注意力特征图中存在像素值不同的像素，这样可以考虑到每个像素的权重，可以进一步准确地区分出实例的像素。

在一种可能的实现中，所述第一注意力特征图中的像素的像素值位于一个设定的取值范围内，例如位于0-1之间。还可以是0-0.5之间，或者0.5-1之间。