[发明专利]实例分割方法、装置、电子设备和存储介质

说明书

本申请公开了实例分割方法、装置、电子设备和存储介质。所述方法包括：基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；根据所述热力特征图确定实例的中心点；从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。有益效果在于，利用中心点预测的方式确定实例位置，省去了无关点的计算，提升了速度；并且能够在像素级别进行精细分割，精度更高。

技术领域

本申请涉及计算机视觉领域，具体涉及实例分割方法、装置、电子设备和存储介质。

背景技术

高精地图构建过程中，往往需要对图像进行识别，例如区分挨在一起的不同交通标志牌。又例如，自动驾驶场景下，马路上距离较近的行人和车辆也需要进行区分。

目前，通常采用计算机视觉技术来完成上述任务。但是仅靠语义分割无法完成此类任务，因此需要实例分割来区分不同的个体。现有技术中往往采用二阶段(two-stage)类型的神经网络来实现实例分割，但是存在计算成本较大且速度较慢的问题。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的计算机视觉任务中的实例分割方法、装置、设备和存储介质。

依据本申请的一个方面，提供了一种计算机视觉任务中的实例分割方法，包括：基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；根据所述热力特征图确定实例的中心点；从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。

可选地，所述根据所述热力特征图确定实例的中心点包括：在所述热力特征图中提取局部最大响应点，根据局部最大响应点的位置确定实例的中心点位置。

可选地，所述根据局部最大响应点的位置确定实例的中心点位置包括：基于一阶段网络的主干网络，生成所述图像的偏移特征图；根据所述局部最大响应点的位置，从所述偏移特征图中提取出相应的偏移特征；根据所述局部最大响应点的位置以及所述偏移特征确定实例的中心点位置。

可选地，所述根据所述中心点位置以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征包括：根据所述中心点位置以及提取出的尺寸特征确定所述实例的占据区域；从所述全局显著性特征图中裁剪出与所述占据区域对应的全局显著性特征。

可选地，所述根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果包括：根据提取出的尺寸特征和提取出的形状特征确定实例的轮廓特征；根据所述轮廓特征与提取出的全局显著性特征生成实例的掩模。

可选地，所述主干网络为卷积神经网络。

可选地，各特征图具有相同的宽度和高度。

依据本申请的另一方面，提供了一种计算机视觉任务中的实例分割装置，包括：特征图生成单元，用于基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；中心点确定单元，用于根据所述热力特征图确定实例的中心点；特征提取单元，用于从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；实例分割单元，用于根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。