[发明专利]一种预测自由空间语义边界的方法

权利要求书

1.一种预测自由空间语义边界的方法，其特征在于，包括以下步骤：

步骤1：基于迭代结构，构建多尺度卷积神经网络，多尺度卷积神经网络结构包括用于特征提取的卷积神经网络模块F、基于卷积的低分辨率预测器LR-MODULE和2个高分辨率预测器HR-MODULE；将低分辨率预测器LR-MODULE输出的特征图用双线性插值的方法进行上采样，并将采样得到的特征图与特征提取器中尺度相匹配的特征F₁与F₂相联结并送入高分辨率预测器HR-MODULE；多级卷积神经网络最终会生成一幅4通道，1/4输入图像大小并包含边界预测结果的置信图M；置信图M中的每个通道分别代表背景M_B，平坦区域边界M_F，路面与障碍物的交界M_V与路沿边界M_s；

步骤2：采用边界动态规划与语义动态规划以推断出具体的自由空间语义边界；边界动态规划推理出具有空间平滑性的自由空间边界；语义动态规划为自由空间边界赋予语义信息；

边界动态规划的具体方法如下：

对置信图M进行预处理，将置信图M中代表平坦边界M_F，路面与障碍物的交界M_V与路沿M_s的3个通道通过通道相加的方式将其合并为置信图C；

对于置信图C，首先将置信图C中的像素值按列存储为形如{C₁，C₂，...，C_N}的集合；其中N表示置信图的宽度；在集合{C₁，C₂，...，C_N}里的每个列向量中都选取一个像素，这些像素最终将组成推理边界；通过建模，得到如公式(1)与(2)的优化问题：

S₁(p_n，p_n-1)＝α(p_n-p_n-1)² (2)

公式(1)中，p_n代表第n列中某一个像素的行坐标，C_n(p_n)代表置信图C中像素(p_n,n)的置信度，H代表置信图的高度；α是一个参数，用来控制平滑性约束的程度；公式(2)是一个平滑性约束，用来防止推理边界中两个相邻像素的不连续性；对于公式(1)与(2)最优化问题，得到如公式(3)所示的递归方程：

利用动态规划中的回溯算法，得到最优序列对于该序列中每一个行坐标都能够得到自由空间边界P中一点的坐标位置

2.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤1中，卷积神经网络模块F进行特征提取的方法如下：

输入一张图片到特征提取模块，将输入图像通过卷积层完成特征提取后，利用窗宽与步长均为2的池化层进行下采样，最终特征提取模块生成具有32个通道和输入图像大小1/8倍大小的空间特征。

3.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤1中，低分辨率预测器LR-MODULE由5个基于卷积结构的预测器迭代而成；低分辨率预测器LR-MODULE中每一级预测器都会输出一张置信图，网络将前级的置信图与特征提取器输出的特征图联结起来送入下一级预测器中；最终，低分辨率预测器LR-MODULE输出一幅4通道，输入图像1/8大小的特征图。

4.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤1中，2个高分辨率预测器HR-MODULE的网络结构相同，均由3个卷积预测器级联而成。

5.根据权利要求1所述的预测自由空间语义边界的方法，其特征在于，步骤2中，语义动态规划的具体方法如下：

对于边界动态规划中得到的自由空间边界结果，利用语义动态规划对边界中每个点赋予语义信息；对于P中的每一点依次取其在M_F，M_V，M_S中的置信度并存为通道向量，记作L_n；

对于向量L_n，构成集合{L₁，L₂…L_N}；在语义连续性的基础上从集合{L₁，L₂…L_N}中的每一个通道向量中都选取一个最优通道坐标，这些通道坐标将最终构成自由空间边界的语义标签；通过建模，得到如公式(4)与(5)的优化问题：

公式(4)中，q_n代表集合中第n列边界像素的通道坐标，由于自由空间语义边界有3种属性划分，q_n的取值为M_F，M_V，M_S；L_n(q_n)代表最优边界像素在q_n通道下的置信度；公式(5)为相应的语义连续性约束，其目的是防止由于置信图的预测误差而造成的同一属性边界下两个相邻像素语义信息的不同；对于公式(4)与(5)所述的最优化问题，得到相应的递归方程(6)：