[发明专利]一种融合图像点云特征的分类方法和装置

权利要求书

1.一种融合图像点云特征的分类方法，其特征在于，所述方法包括：

获取指定时段内指定摄像头拍摄的多个图像生成第一图像序列；并获取所述指定时段内与所述指定摄像头对应的指定雷达扫描生成的多个扫描点云生成第一点云序列；所述第一图像序列包括多个第一图像，所述第一点云序列包括多个第一点云；

根据所述第一图像序列和所述第一点云序列进行图像点云融合特征提取处理生成对应的融合特征向量；

基于分类神经网络对所述融合特征向量进行分类处理得到对应的分类向量；所述分类向量为一维向量，包括指定数量m个分类向量数据，各个所述分类向量数据分别对应一个分类类别；所述分类类别包括6类类别分别为车、行人、骑行者、绿植、栅栏和其它物体；

将取值最大的所述分类向量数据对应的所述分类类别作为本次分类结果输出。

2.根据权利要求1所述的融合图像点云特征的分类方法，其特征在于，所述根据所述第一图像序列和所述第一点云序列进行图像点云融合特征提取处理生成对应的融合特征向量，具体包括：

根据所述第一图像序列进行图像特征提取处理生成对应的第一特征向量；

根据所述第一点云序列进行点云特征提取处理生成对应的第二特征向量；

对所述第一、第二特征向量进行向量合并得到对应的第三特征向量；

将所述第三特征向量输入LSTM神经网络进行特征融合处理生成对应的融合特征向量。

3.根据权利要求2所述的融合图像点云特征的分类方法，其特征在于，所述根据所述第一图像序列进行图像特征提取处理生成对应的第一特征向量，具体包括：

对所述第一图像序列的所述第一图像的数量进行统计生成第一数量b₁；

将所述第一图像序列的各个所述第一图像分别输入ResNet18神经网络进行特征提取处理生成对应的第一图像特征向量；所述第一图像特征向量的形状为1×1024；

由得到的所述第一数量b₁个所述第一图像特征向量组成所述第一特征向量；所述第一特征向量的形状为b₁×1024。

4.根据权利要求2所述的融合图像点云特征的分类方法，其特征在于，所述根据所述第一点云序列进行点云特征提取处理生成对应的第二特征向量，具体包括：

对所述第一点云序列的所述第一点云的数量进行统计生成第二数量b₂；

将所述第一点云序列的各个所述第一点云分别输入PointNet神经网络进行特征提取处理生成对应的第一点云特征向量；所述第一点云特征向量的形状为1×1024；

由得到的所述第二数量b₂个所述第一点云特征向量组成所述第二特征向量；所述第二特征向量的形状为b₂×1024。

5.根据权利要求2所述的融合图像点云特征的分类方法，其特征在于，

所述第三特征向量的形状为(b₁+b₂)×1024；第一数量b₁为所述第一图像序列的所述第一图像的数量，第二数量b₂为所述第一点云序列的所述第一点云的数量。

6.根据权利要求5所述的融合图像点云特征的分类方法，其特征在于，所述将所述第三特征向量输入LSTM神经网络进行特征融合处理生成对应的融合特征向量，具体包括：

将结构为(b₁+b₂)×1024的所述第三特征向量输入所述LSTM神经网络，由所述LSTM神经网络对所述第三特征向量1024个维度上的(b₁+b₂)个特征进行特征融合，从而得到对应的所述融合特征向量；所述融合特征向量的结构为1×1024。