[发明专利]一种带有双向连接和遮挡处理的全景分割方法

权利要求书

1.一种带有双向连接和遮挡处理的全景分割方法，其特征在于，包括以下步骤：

S1.获取用于训练全景分割的数据集，并定义算法目标；

S2.使用全卷积网络对数据集中的图像进行特征提取后得到其特征图；

S3.使用语义特征提取网络对特征图提取语义特征；

S4.使用实例特征提取网络对特征图提取实例特征；

S5.建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；

S6.建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；

S7.使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果；

步骤S4中所述的提取实例特征具体包含以下子步骤：

S41.使用一个区域提取网络来检测图像中的实例集合O，得到O＝{O₁，...，O_k}，其中O_i表示检测到的第i个实例，i∈[1，k]，k为检测到的实例总数量；

S42.对检测到的每个实例O_i，计算其包围框B_i；

S43.使用实例特征提取网络ζ提取实例特征，即输入S2中提取的特征图F和实例O_i的包围框B_i，提取其实例特征I_i＝ζ(F，B_i)＝ζ(φ(I)，B_i)；

步骤S5中所述的建立实例分割到语义分割的连接具体步骤如下：

S51.使用可微分操作RoIInlay恢复S4中提取的实例特征的空间信息F_I：

F_I＝RoIInlay(I₁，...，I_k，B₁，...，B_k)；

其中可微分操作RoIInlay的具体操作如下：对于一个左上角坐标为(a，b)且大小为h×w的实例，假设其经过裁剪和变形后得到m×m的特征图，该特征图上每一个点(u，v)都采样自原特征图的一个位置(x，y)：

即m×m特征图上点(u，v)处的值对应原特征图上点(x，y)的值v(x，y)，因此对位于目标区域内的任意一个点(x_p，y_p)，找到包围它的四个采样点，记为集合C，通过双线性插值得到(x_p，y_p)点处的值

其中G_w和G_h是在采样点的相对坐标系下的插值函数：

式中：参数参数

对于在目标区域内但超出采样点边界的值，其采样点会被拉至目标边界处；

S52.将F_I与步骤S3中提取的语义特征S聚合后得到的特征用于预测语义分割结果；其中特征聚合的具体操作如下：首先将F_I与S在通道维度上拼接后形成一个新特征，然后将其经过1层3×3卷积处理以消除RoIInlay造成的变形；随后将这个特征经过多尺度的池化操作后分别得到8×8，4×4，2×2，1×1大小的对场景的描述；最后将这些描述进行拉平并拼接，将拼接后的特征与原始特征在每个像素点上拼接，并经过一个1×1的卷积处理后得到聚合后的特征；

步骤S6所述的建立语义分割到实例分割的连接具体操作如下：首先使用RoIAlign操作从语义特征S中得到实例O_i对应的语义特征然后将经过一个3×3卷积处理后与实例特征I_i相加得到聚合后的特征用于预测实例的分割结果，分割结果包括实例的位置、类别和分割图。

2.如权利要求1所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S1所述的算法目标为：对用于全景分割的数据集中的每一张图片I，对于I中出现的背景像素，识别其所属的语义类别；对于I中出现的前景像素，识别其所属的语义类别和所属实例。

3.如权利要求2所述的一种带有双向连接和遮挡处理的全景分割方法，其特征在于步骤S2中使用一个全卷积神经网络φ对图像中的每一个像素提取特征，得到该图像的特征图F＝φ(I)。