[发明专利]一种融合语义信息的激光雷达目标检测方法及系统

说明书

本发明公开了一种融合语义信息的激光雷达目标检测方法及系统，所述方法包括：对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数；在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征；将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中；对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别。解决了现有技术中存在对目标的特征的检测效果不够准确，进而导致对车辆、行人的目标检测不够准确和高效的技术问题。

技术领域

本发明涉及计算机视觉领域相关领域，尤其涉及一种融合语义信息的激光雷达目标检测方法及系统。

背景技术

环境感知技术于智能交通、智能穿戴设备、智慧城市等领域有着重要的意义。其中，传感器获取并处理信息是实现环境感知的基础和技术前提，相机获取的图像数据具有固有的深度模糊性，受光线及天气影响较大，但是可以提供细粒度的纹理以及颜色信息；另一方面，激光雷达获取的点云数据提供了非常精确的目标空间位置信息，但是分辨率和纹理信息较弱。为了改善单一传感器造成的检测效果不佳，目前多采用多传感器融合的研究方法从而能够提供丰富且准确的环境信息。

现有的多传感器融合方法主要分为三类：特征级别融合、决策级别融合以及2D目标框投影点云的two-stage融合。特征级别融合例如Xiaozhi Chen等人提出的MV3D、JasonKu等人提出的AVOD等网络结构，主要是将图像特征与点云特征分流提取，再在特征级别上进行直接级联或者进行特征的多尺度融合。但是这种融合方式最大的缺点在于“特征模糊”，一方面点云的一个点对应图像视图上的多个像素点，另一方面提取的图像特征图与点云特征图中，特征的数量级相差较大，也就造成了实际起作用的特征图中并未很好地利用到小量级的信息；决策级别融合是相对简单的融合方式，例如SuPang等人提出的CLOCs网络，即两种模态的特征不在特征层或者最开始就融合，而是分别进行各自网络的训练推理，分别得到2D和3D检测器下的proposals，再将两种模态的proposals编码成稀疏张量，对于非空的元素采用二维卷积做对应的特征融合。决策层融合的好处在于两种模态的网络结构之间互不干扰，可以独自训练和组合，但是存在一定的缺点就是在决策层做融合实际上是对原始传感器数据信息利用最少的，不能很好地利用多传感器数据之间互补的特性；以Charles R.Qi等人所提出的F-Pointnet结构为代表的two-stage方法首先依据2D检测器得到图像目标检测结果，再将其投影到3D激光雷达数据上。但是这种融合方式过度依赖2D检测器的性能，并且二维框投影到点云数据后，存在小目标物体由于点云的稀疏性，在投影的视锥框中无法进行点集特征提取与识别的问题。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中存在对目标的特征的检测效果不够准确，进而导致对车辆、行人的目标检测不够准确和高效的技术问题。

发明内容

本申请实施例通过提供一种融合语义信息的激光雷达目标检测方法及系统，解决了现有技术中存在对目标的特征的检测效果不够准确，进而导致对车辆、行人的目标检测不够准确和高效的技术问题，进而达到基于图像语义分割和图卷积特征提取视觉激光融合目标检测方法，显著提高对道路车辆、行人目标检测的准确性、高效性的技术效果。

鉴于上述问题，提出了本申请实施例提供一种融合语义信息的激光雷达目标检测方法及系统。

第一方面，本申请还提供了一种融合语义信息的激光雷达目标检测方法，所述方法包括：对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数；在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征；将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中；对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别。