[发明专利]一种融合语义信息的激光雷达目标检测方法及系统

权利要求书

1.一种融合语义信息的激光雷达目标检测方法，其中，所述方法包括：

对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数；

在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征；

将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中；

对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别。

2.如权利要求1所述的方法，其中，所述对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数，包括；

将ResNet101作为主网络，通过编码器对所述每一时间戳下的图像帧进行下采样特征提取；

对所述每一时间戳下的图像帧通过解码器进行上采样的恢复分辨率处理，获得预测特征图；

根据所述预测特征图，获得所述语义分割分数。

3.如权利要求1所述的方法，其中，所述在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征，所述方法包括：

对于每一帧点云数据，根据点云坐标系到相机坐标系的转换矩阵，将空间点云位置转换到照相机坐标系下的坐标点位置；

筛选各相机坐标点中Z轴坐标值大于0.1的点，获得第一索引位置集合；

根据所述第一索引位置集合通过照相机坐标系到图像坐标系的转换矩阵，获得到图像坐标系下的坐标值；

加载所述点云数据对应的图像帧，获得每个坐标值下的RGB通道数据；

将所述RGB通道数据级联至点云特征维度。

4.如权利要求3所述的方法，其中，所述将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中，包括：

对所述每一时间戳下的图像帧，索引所述分割网络输出的带有所述语义分割分数的各点图像坐标；

将对应类别叠加至相应帧中已经过投影到图像坐标系的所述点云数据中。

5.如权利要求1所述的方法，其中，所述对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别，包括：

对所述点云数据进行基于下采样的图构建；

构建图神经网络更新迭代每一个中心点的特征，通过相邻点的状态来改善中心点的状态；

定位分支预测每个类别的边界框，如果一个顶点在一个边界框中，计算预测值与groundtruth的Huber损失；如果一个顶点不在所述边界框中或者是非感兴趣类，将其定位损失置为0。

6.如权利要求5所述的方法，其中，所述构建图神经网络更新迭代每一个中心点的特征，通过相邻点的状态来改善中心点的状态，公式如下：

其中，定义一个含有N个点的点云图为P＝{p₁，...，p_N}，其中p_i＝(x_i，s_i)，x_i∈R³表示原始点云的空间坐标(X，Y，Z)，s_i∈R^k代表原始点属性状态的k维向量，f^t(·)、g^t(·)和h^t(·)函数都采用多层感知机(MLP)进行建模，M代表目标类总数，x_j为j点的点云三维坐标，为t层的j点特征。