[发明专利]一种基于图像和点云融合网络的道路区域图像识别方法

权利要求书

1.一种基于图像和点云融合的道路区域图像识别方法，其特征在于：

1)构建融合主干网络，提取原始图像和原始点云中的特征，并对这两种特征进行融合，获得融合后特征图；

2)然后使用Upsampling、2D卷积层和ReLU激活函数层构建解码层，并以此构建解码网络，将融合后特征图输入到解码网络处理获得解码特征结果；

3)最后针对解码特征结果使用逐点卷积运算，得到原始图像中每个像素为“道路”或者“非道路”的分类类别。

2.根据权利要求1所述的一种基于图像和点云融合的道路区域图像识别方法，其特征在于：所述步骤1)具体为：

融合主干网络使用图像处理分支和点云处理分支分别从原始图像和原始点云中提取图像外观特征和和几何特征点云，对图像外观特征和和几何特征点云使用融合模块进行融合获得融合后特征图。

3.根据权利要求2所述的一种基于图像和点云融合的道路区域图像识别方法，其特征在于：对图像外观特征和和几何特征点云的融合，具体是将从几何特征点云融合到相对应的图像外观特征上。

4.根据权利要求2或3所述的一种基于图像和点云融合的道路区域图像识别方法，其特征在于：对图像外观特征和和几何特征点云进行融合，具体是分为图像和点云的对齐步骤和特征点云融合到图像步骤的两个步骤：

所述的图像和点云对齐步骤，通过预先标定激光雷达和相机的外参矩阵以及相机的内参矩阵，首先计算点云投影到图像坐标系中的坐标；

特征点云融合到图像步骤，利用点云投影到图像坐标系的坐标，对图像特征中每个像素选取点云中对应的，并对所有对应点的特征求平均，得到该像素从点云中获取的特征作为最终的融合后特征图。

5.根据权利要求1所述的一种基于图像和点云融合的道路区域检测网络，其特征在于：所述的融合主干网络包括图像处理分支、点云处理分支和融合模块，所述的图像处理分支包括了五个依次级联连接的特征提取块，原始图像输入到第一个特征提取块，经五个特征提取块依次处理后输出各自的图像特征；

所述的点云处理分支包括了四个依次连接的SA层，原始点云输入到第一个SA层，经五个特征提取块依次处理后输出各自的特征点云；将各个特征提取块输出的结果以及各个SA层输出的结果和原始点云通过多个融合模块进行融合传递处理并反馈到特征提取块中；表示为以下操作：

F_i＝I_i+Fusion(P_j，I_i)，j＝i-1，i∈{1，2，3，4，5}，j∈{0，1，2，3，4}

其中，为第1个特征提取块的操作，I_i表示第i个特征提取块输出的图像特征，I₀表示原始图像，I₁表示第1个特征提取块输出的图像特征，F_i表示第i个融合模块输出的融合后特征图，Fusion(·)为融合模块的操作，P_j表示第j个SA层输出的特征点云，P₀为原始点云，为第j+1个SA层的操作；

通过循环上述操作得到各个融合模块的输出结果，组成融合后特征图集合{F₁，F₂，F₃，F₄，F₅}。