[发明专利]一种基于实例查询的端到端实例分割方法

权利要求书

1.一种基于实例查询的端到端实例分割方法，其特征在于，包括：

(1)训练基于实例查询和多层级并行掩码监督的端到端实例分割算法模型，包括以下子步骤：

(1.1)对原始数据集中所有图片的感兴趣类别的物体进行实例级别的标注，标签为实例级别的包围框的左上及右下顶点和实例对应的前景掩码，得到带标注的标准训练数据集；

(1.2)定义基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型，所述基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型由特征金字塔结构网络、可学习的实例查询向量及区域建议框、边框回归网络、前景分割网络、类别判别网络组成，根据(1.1)中带标注的标准训练数据集，计算训练标签，并设计损失函数，利用反向传播和梯度下降算法训练该基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型；

(2)利用上述训练好的模型对待识别图片进行实例分割：将待识别图片通过ResNet-50骨干网络以及特征金字塔网络，得到多尺度特征，通过可学习的包围建议框，感兴趣区域池化操作提取出固定分辨率大小为7×7的包围框感兴趣区域，以及固定分辨率大小为14×14的掩码感兴趣区域，包围框感兴趣区域以及掩码感兴趣区域在可学习的实例查询向量的动态卷积后，输入检测分割任务头，通过类别判别网络、边框回归网络以及掩码生成网络中进行类别判别、边框回归以及掩码生成，最终得到待识别图片中感兴趣实例的类别、预测包围框以及前景掩码预测。

2.如权利要求1所述的基于实例查询的端到端实例分割方法，其特征在于，所述步骤(1.2)具体包括如下子步骤：

(1.2.1)构建基于实例查询向量以及多层级并行掩码监督的端到端实例分割算法模型；

(1.2.2)以标准训练数据集I_tr作为识别网络模型的输入，利用特征金字塔网络模块提取特征；

(1.2.3)根据可学习区域建议框从特征金字塔模块输出的多极特征中提取感兴趣区域；

(1.2.4)根据可学习实例查询对感兴趣区域进行动态卷积；

(1.2.5)根据动态卷积后的包围框感兴趣区域进行类别判别以及边框回归，并生成微调后的实例查询向量；

(1.2.6)根据动态卷积后的掩码感兴趣区域进行前景掩码预测；

(1.2.7)通过二分图匹配算法，将网络预测输出与训练集标签集合进行一一匹配；

(1.2.8)以训练标签gt为网络期望输出，以预测标签为网络预测输出，针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数；

(1.2.9)多级级联预测：以当前层级输出的微调后的实例查询向量作为新的实例查询向量，以当前层级的实例检测结果为感兴趣区域建议框，重复进行步骤(1.2.3)至步骤(1.2.8)，算法网络的总层级数为六层，整体的算法模型预测损失由所有层级的检测分割头的预测损失共同组成；

(1.2.10)根据设计的整体目标损失函数，利用反向传播以及梯度下降算法对模型进行迭代训练，最小化整体目标损失函数，实现最优网络模型及参数。