[发明专利]实例分割模型的训练方法及装置，图像处理的方法及装置

说明书

本申请公开了一种实例分割模型的训练方法及装置，图像处理的方法及装置。该训练方法包括：确定包含至少一个目标物体的样本图像，所述样本图像包括所述至少一个目标物体中的每个目标物体的形状边缘点标签、目标中心点标签以及类别标签；基于所述样本图像训练具有分支结构的神经网络，以得到所述实例分割模型，其中，所述具有分支结构的神经网络模型包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络，所述第一分支网络用于输出所述至少一个目标物体中的每个目标物体的分类结果，所述第二分支网络用于输出所述目标物体的分割结果，能够提高实例分割结果的准确性和效率。

技术领域

本发明涉及图像处理技术领域，具体涉及一种实例分割模型的训练方法及装置，图像处理的方法及装置。

背景技术

近年来，深度神经网络在图像、视频等视觉信号的自动化理解方面取得优异的表现。为了理解图像中每个像素所包含的语义信息，目标检测与语义分割应运而生，目标检测或语义分割只能粗略的判断像素属于哪一个目标的矩形检测框或语义类别。为了实现更加精细的图像理解，实例分割应运而生，实例分割在目标检测与语义分割的基础上，可以进一步判断图像中每个像素属于哪一个语义类别中的哪一个目标，实例分割可以应用于视频监督或自动驾驶等任务。当前技术中，大多数采用基于多任务学习框架的实例分割模型来实现实例分割，该实例分割模型采用目标检测模型作为先验输出，即，为目标区域确定候选框，然后使用额外的分割掩模预测模型在目标检测模型给定的目标检测框内逐个像素预测是否属于该目标，即，对候选框中的物体进行分割，从而得到了每个实例的分割结果。

然而，现有的实例分割模型在执行目标检测任务和实例分割任务时，都是先进行目标检测任务，然后再基于目标检测任务所得到的候选框进行后续的实例分割任务，这会使每个实例所得到的分割结果被目标检测任务的检测性能所影响，且这会使实例分割模型的网络参数多，占用内存大，消耗时间长，从而导致实例分割结果不准确且效率低。

发明内容

有鉴于此，本申请的实施例致力于提供一种实例分割模型的训练方法及装置，图像处理的方法及装置，能够提高实例分割结果的准确性和效率。

根据本申请实施例的第一方面，提供了一种实例分割模型的训练方法，包括：确定包含至少一个目标物体的样本图像，所述样本图像包括所述至少一个目标物体中的每个目标物体的形状边缘点标签、目标中心点标签以及类别标签；基于所述样本图像训练具有分支结构的神经网络，以得到所述实例分割模型，其中，所述具有分支结构的神经网络包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络，所述第一分支网络用于输出所述至少一个目标物体中的每个目标物体的分类结果，所述第二分支网络用于输出所述目标物体的分割结果。

根据本申请实施例的第二方面，提供了一种图像处理的方法，包括：根据包含至少一个目标物体的待处理图像，通过所述实例分割模型中的主干网络，获取所述待处理图像的特征图；根据所述特征图，通过所述实例分割模型中的第一分支网络，获取所述至少一个目标物体中的每个目标物体的多个特征点中的每个特征点的分类结果，其中，所述特征点的分类结果为与所述特征点对应的目标物体的分类结果；根据所述特征图，通过所述实例分割模型中的第二分支网络，获取与所述目标物体的特征点对应的所述目标物体的多个形状边缘点的位置，并根据所述多个形状边缘点的位置，按照预设规则，将所述多个形状边缘点相连，以获得与所述目标物体的特征点对应的所述目标物体的分割结果；根据所述目标物体的分类结果和所述目标物体的分割结果，获取所述目标物体的实例分割结果。