[发明专利]全景分割方法、装置和系统及存储介质

说明书

本发明实施例提供一种全景分割方法、装置和系统以及存储介质。该方法包括：获取待处理图像；将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将语义分割结果和实例分割结果融合，以获得全景分割结果。根据本发明实施例的全景分割方法、装置、系统及存储介质，通过使语义分割和实例分割两个子任务共享基础模型的参数，可以有效降低网络的参数量，从而减小计算量，加快网络处理速度。

技术领域

本发明涉及计算机领域，更具体地涉及一种全景分割方法、装置和系统以及存储介质。

背景技术

全景分割是计算机视觉技术中提出的一个新的任务。全景分割相对于语义分割，增加了实例信息，相对于实例分割，增加了无定形区域的分割。因此，全景分割是语义分割和实例分割的集成，但是又引入了新的算法挑战，例如，现有的全景分割技术采用两种独立的网络分别处理语义分割任务和实例分割任务，这种方式参数量大，网络性能不够好。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种全景分割方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种全景分割方法。该方法包括：获取待处理图像；将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将语义分割结果和实例分割结果融合，以获得全景分割结果。

示例性地，实例分割结果包括与至少两个实例框分别相关的实例信息，将语义分割结果和实例分割结果融合，以获得全景分割结果包括：

对于待融合实例集合中的任一待融合实例框，计算该待融合实例框与相关实例集合中的任一相关实例框之间的重叠面积与该待融合实例框所占面积之比，以获得该待融合实例框与该相关实例框之间的重叠比率，其中，待融合实例集合包括至少两个实例框中的至少一个实例框，相关实例集合包括至少两个实例框中除该待融合实例框之外的至少一个实例框；根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级；至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。

示例性地，根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级包括：如果在该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率中，存在预设数目的重叠比率大于预设阈值，则确定该待融合实例框的层级为高，否则，确定该待融合实例框的层级为低，其中，层级高的实例框具有覆盖层级低的实例框的资格。

示例性地，预设数目为1和/或预设阈值为0.5。

示例性地，实例信息包括置信度，至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。

示例性地，实例信息包括类别信息和实例标识信息，至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：对于待融合实例集合中存在重叠的第一实例框和第二实例框，如果第一实例框和第二实例框的层级不同，则确定在第一实例框和第二实例框的重叠区域中，将第一实例框和第二实例框之中层级高的实例框的类别信息和实例标识信息分配给重叠区域的像素；如果第一实例框和第二实例框的层级相同，则确定在重叠区域中，将第一实例框和第二实例框之中置信度高的实例框的类别信息和实例标识信息分配给重叠区域的像素。