[发明专利]基于图神经网络的全景分割方法、系统、设备及存储介质

权利要求书

1.一种基于图神经网络的全景分割方法，其特征在于，包括：

通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；

通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；

通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；具体地，通过前景图神经网络对原始前景图进行节点特征的传播及节点表示的更新，以生成新前景图；对所述前景类别概率中的每一行向量分别进行归一化处理，将每一归一化结果分别作为实例注意力系数，将每一实例注意力系数与新前景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成实例一维向量；将所述实例一维向量与初步特征图中对应的行向量进行拼接，以生成新实例特征图；通过全连接层对所述新实例特征图进行处理，以生成实例分类结果；提取实例分类结果中每一行的概率最大值，根据所述概率最大值提取候选区域对应的类别，并根据所述类别提取对应的掩模结果以得到目标实例分割掩膜；其中，所述候选区域由RPN网络对所述目标特征进行处理后生成，所述候选区域进行池化处理后生成候选区域特征，所述初步特征图由全连接层对所述候选区域特征进行处理后生成；

通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；

采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。

2.如权利要求1所述的基于图神经网络的全景分割方法，其特征在于，所述通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征的步骤包括：

通过ResNet-50网络对图片进行特征提取，以提取初步特征；

通过FPN网络对所述初步特征进行特征提取，以提取多个目标特征。

3.如权利要求1所述的基于图神经网络的全景分割方法，其特征在于，所述通过实例分割头部网络并根据目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果的步骤包括：

通过RPN网络对每一目标特征分别进行处理，以生成多个候选区域；

对每一候选区域分别进行池化处理，以生成候选区域特征；

通过全连接层对每一候选区域特征分别进行处理，以生成初步特征图；

通过全连接层对每一初步特征图进行处理，以生成前景类别概率；

通过全连接层对每一初步特征图进行处理，以生成背景类别概率；

对每一候选区域特征分别进行卷积处理，以生成每一类别的掩模结果。

4.如权利要求3所述的基于图神经网络的全景分割方法，其特征在于，所述通过语义分割头部网络并根据目标特征以得到图片的初步语义分割结果的步骤包括：

对每一目标特征分别进行上采样处理；

将所有上采样结果相加，以生成特征；

将所述特征进行上采样处理，以生成语义分割特征；

将所述特征进行卷积处理；

将卷积结果进行上采样处理，以生成初步语义分割结果。