[发明专利]一种基于实例查询的端到端实例分割方法

说明书

本发明公开了一种基于实例查询的端到端实例分割方法：(1)训练基于实例查询和多层级并行掩码监督的端到端实例分割算法模型，包括以下子步骤：(1.1)对原始数据集中所有图片的感兴趣类别的物体进行实例级别的标注，标签为实例级别的包围框的左上及右下顶点和实例对应的前景掩码，得到带标注的标准训练数据集；(1.2)定义基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型，利用反向传播和梯度下降算法训练该基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型；(2)利用上述训练好的模型对待识别图片进行实例分割。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于实例查询的端到端实例分割方法。

背景技术

在计算机视觉领域中，实例分割是一个非常活跃并具有挑战性的研究方向，并已经在近些年的研究中取得了巨大的进展。实例分割要求对图片中每一个感兴趣的实例进行前背景的分割，很多实际应用都和它高度相关，例如智慧交通系统、智慧安防系统等。

在之前最先进的实例分割算法研究中，实例分割总是基于空间上的一一对应关系来完成的。这些方法可分为两种。第一种方法使用锚框作为物体位置先验，该方法首先对图片进行密集的锚框设定，并进一步通过区域建议网络对可能存在物体的锚框进行识别，被认为包含物体的锚框通过并行的检测与分割头进行边框回归与前景分割，得到实例级别的图片分割结果。第二种方法为了减少对锚框设定的需求，使用基于像素点的方式，对输入图片的每个像素点进行处理，并判别其是否为一个感兴趣实例的中心点，并进一步进行边框回归与前景分割。这两种方法在实例分割任务的长期发展中已经取得了不错的分割效果，但是，因为两种方法均基于密集的位置先验(锚框或像素点)，以上两种方法非常依赖于非极大抑制等复杂的后处理流程来减少重复的实例预测，难以进行端到端的推理；同时存在算法模型的训练阶段与推理阶段不能保持一致的问题。同时，在之前许多最先进的实例分割算法研究中，为了增强算法的表现，算法模型通常遵循一种多级迭代的范式，即通过多个层级的不断迭代，提高算法模型预测实例掩码的精度。由于这种多层级的算法模型高度依赖于其串行的掩码预测流程，算法模型推理时往往需要大量的内存、时间开销，难以在对推理速度敏感的场景下应用。

最近，有多种方法提出了端到端的物体检测方法，避免了上述的多个问题。这些方法遵循大致相似的处理流程：在训练阶段，算法模型会初始化些许高维度的表征向量，作为算法模型的查询模块，这些查询向量将在算法模型不断训练的过程中进行更新，每一个查询向量在训练阶段会产生一个对应的检测框预测，包括检测框坐标及其类别。通过实例查询，上述方法避免了对非极大抑制等冗杂后处理模块的依赖，实现了端到端的物体检测框架，并取得了与之前的算法相当的结果。然而，如何利用查询向量构建端到端的实例分割框架，并在维持算法模型高性能的同时减少算法模型对时间、空间的开销，仍然是一个有待探索的命题。

发明内容

针对现有技术的缺陷及以上的改进需求，本方法旨在设计一种经济的、高效的基于实例查询的端到端实例分割算法。本发明提供了一种经济的、高效的基于实例查询及多层级并行掩码监督的端到端实例分割算法。该方法主要依托于实例查询向量以、动态实例分割头及多层级并行掩码监督模块。通过实例查询向量以及多层级并行的实例分割头，该方法实现了不依赖于非极大抑制等后处理模块的实例分割；并构建了一种有效的跨层级、多任务之间的实例信息交互，对于不同的层级，所述方案在不同层级之间不断优化、不断迭代实例信息；对于包围框检测、前背景分割等多个子任务，所述方案综合多种任务对实例信息的不同需求，共同优化并增强实例查询中所包含的实例信息。所述方法可以检测并分割感兴趣实例，并且可以进行完全的端到端训练及推理。

为实现上述目的，本发明提供了一种基于实例查询和多层级并行掩码监督的端到端实例分割方法，包括以下步骤：

(1)训练基于实例查询和和多层级并行掩码监督的端到端实例分割算法模型，包括以下子步骤：

(1.1)对原始数据集中所有图片的感兴趣类别的物体进行实例级别的标注，标签为实例级别的包围框的左上及右下顶点和实例对应的前景掩码，得到带标注的标准训练数据集；