[发明专利]一种图像分割方法、装置、设备及存储介质

说明书

本公开实施例公开了一种图像分割方法、装置、设备及存储介质。该方法包括：融合原始图像对应的视觉特征和描述语言对应的文本特征，得到多模态特征，描述语言用于指定原始图像中待分割的目标物体；根据多模态特征对应的图像确定目标物体的视觉区域，并将视觉区域对应的图像记为响应热度图；根据多模态特征对应的图像和响应热度图，确定目标物体的分割结果。上述方案对图像分割过程进行了分解，首先基于融合得到的多模态特征对应的图像确定目标物体的视觉区域，得到响应热度图，然后根据多模态特征对应的图像和响应热度图进一步确定分割结果，有效消除了图像和描述语言之间的语义鸿沟，分割出了描述语言指定的目标物体。

技术领域

本公开实施例涉及图像处理技术领域，尤其涉及一种图像分割方法、装置、设备及存储介质。

背景技术

语言指示下的图像分割是跨模态学习中一项非常重要的技术，又被称为指代性图像分割，目标是分割出图像中语言指定的物体。语言指示下的图像分割由于需要消除图像与语言描述之间的语义鸿沟问题，因而更加具有挑战性。

公开内容

本公开实施例提供一种图像分割方法、装置、设备及存储介质，能够在描述语言的指示下有效分割出图像中的指定物体。

第一方面，本公开实施例提供了一种图像分割方法，包括：

融合原始图像对应的视觉特征和描述语言对应的文本特征，得到多模态特征，所述描述语言用于指定所述原始图像中待分割的目标物体；

根据所述多模态特征对应的图像确定所述目标物体的视觉区域，并将所述视觉区域对应的图像记为响应热度图；

根据所述多模态特征对应的图像和所述响应热度图，确定所述目标物体的分割结果。

第二方面，本公开实施例还提供了一种图像分割装置，包括：

融合模块，用于融合原始图像对应的视觉特征和描述语言对应的文本特征，得到多模态特征，所述描述语言用于指定所述原始图像中待分割的目标物体；

视觉区域确定模块，用于根据所述多模态特征对应的图像确定所述目标物体的视觉区域，并将所述视觉区域对应的图像记为响应热度图；

分割结果确定模块，用于根据所述多模态特征对应的图像和所述响应热度图，确定所述目标物体的分割结果。

第三方面，本公开实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时实现如第一方面所述的图像分割方法。

第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像分割方法。

本公开实施例提供一种图像分割方法、装置、设备及存储介质，通过融合原始图像对应的视觉特征和描述语言对应的文本特征，得到多模态特征，所述描述语言用于指定所述原始图像中待分割的目标物体；根据所述多模态特征对应的图像确定所述目标物体的视觉区域，并将所述视觉区域对应的图像记为响应热度图；根据所述多模态特征对应的图像和所述响应热度图，确定所述目标物体的分割结果。上述方案对图像分割过程进行了分解，首先基于融合得到的多模态特征对应的图像确定目标物体的视觉区域，得到响应热度图，然后根据多模态特征对应的图像和响应热度图进一步确定分割结果，有效消除了图像和描述语言之间的语义鸿沟，分割出了描述语言指定的目标物体。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。