[发明专利]基于特征图恢复的场景分割方法和系统

权利要求书

1.一种基于特征图恢复的场景分割方法，其特征在于，包括：

步骤1、对原始图像进行降采样，得到降采样图像，通过特征学习网络得到该降采样图像的降采样特征图，将该降采样特征图的尺寸恢复为原始图像尺寸，得到上采样特征图，将该上采样特征图输入场景分割网络，得到该原始图像的场景分割结果；

步骤2、直接将该原始图像输入至特征学习网络，得到原始特征图，将该原始特征图输入场景分割网络，得到该原始图像的的参考分割结果；

步骤3、以该原始特征图和该参考分割结果分别优化特征超分辨率学习模块和该场景分割结果；

该步骤1还包括：

构建具有多个反卷积层的特征超分辨率学习模块，以根据降采样比率将该降采样特征图的尺寸恢复为原始图像尺寸；

根据该上采样特征图与该原始特征图的L2距离，构建损失函数：

式中L_L2为该上采样特征图与该原始特征图的L2距离，f_up为该上采样特征图，f为该原始特征图，该损失函数用于优化该场景分割结果；

使用两个回归损失函数，分别应用在特征学习网络，以恢复中间层的特征图并收集重建损失，其中回归损失函数为：

其中分别是步骤1中特征学习网络的中间层特征图；分别是由超分辨率恢复模块产生的特征图；f^b3，f^b4分别是步骤2中特征学习网络的中间层特征图并作为期望恢复的特征图目标，用于得到辅助中间层监督的回归损失L_aux1，L_aux2；

L＝λ₁L_L2+λ₂L_s+λ₃(L_aux1+L_aux2)

其中L_s为softmax损失函数，λ₁、λ₂和λ₃是损失函数L中的权重；

采用边界区域重加权的方法增大边界区域的回归损失，以提升特征超分辨率学习模块对降采样特征图中边界区域的特征恢复能力，其中边界区域B通过对语义边界进行半径为r的扩展得到，该步骤1的最终损失函数为：

其中L(p)代表损失函数L在像素p的损失，γ₁γ₂。

2.如权利要求1所述的基于特征图恢复的场景分割方法，其特征在于，该特征超分辨率学习模块开始和结尾，分别具有尺寸为1×1的卷积层用于降低通道数和恢复通道数。

3.如权利要求1所述的基于特征图恢复的场景分割方法，其特征在于，将该特征超分辨率学习模块插入到特征学习网络中，并进行端对端的训练。

4.一种基于特征图恢复的场景分割系统，其特征在于，包括：

第一模块，用于对原始图像进行降采样，得到降采样图像，通过特征学习网络得到该降采样图像的降采样特征图，将该降采样特征图的尺寸恢复为原始图像尺寸，得到上采样特征图，将该上采样特征图输入场景分割网络，得到该原始图像的场景分割结果；

第二模块，用于直接将该原始图像输入至特征学习网络，得到原始特征图，将该原始特征图输入场景分割网络，得到该原始图像的的参考分割结果；

该第一模块还包括：

构建具有多个反卷积层的特征超分辨率学习模块，以根据降采样比率将该降采样特征图的尺寸恢复为原始图像尺寸；

第三模块，用于以该原始特征图和该参考分割结果分别优化该特征超分辨率学习模块和该场景分割结果；

其中该特征超分辨率学习模块开始和结尾，分别具有尺寸为1×1的卷积层用于降低通道数和恢复通道数；

根据该上采样特征图与该原始特征图的L2距离，构建损失函数：

式中L_L2为该上采样特征图与该原始特征图的L2距离，f_up为该上采样特征图，f为该原始特征图，该损失函数用于优化该场景分割结果；

将该特征超分辨率学习模块插入到特征学习网络中，并进行端对端的训练；

其中，使用两个回归损失函数，分别应用在特征学习网络，以恢复中间层的特征图并收集重建损失，其中回归损失函数为：

其中分别是步骤1中特征学习网络的中间层特征图；分别是由超分辨率恢复模块产生的特征图；f^b3，f^b4分别是步骤2中特征学习网络的中间层特征图并作为期望恢复的特征图目标，用于得到辅助中间层监督的回归损失L_aux1，L_aux2

该第一模块的损失函数为：

L＝λ₁L_L2+λ₂L_s+λ₃(L_aux1+L_aux2)

其中L_s为softmax损失函数，λ₁、λ₂和λ₃是损失函数L中的权重；

采用边界区域重加权的方法增大边界区域的回归损失，以提升特征超分辨率学习模块对降采样特征图中边界区域的特征恢复能力，其中边界区域B通过对语义边界进行半径为r的扩展得到，该步骤1的最终损失函数为：

其中L(p)代表损失函数L在像素p的损失，γ₁γ₂。