[发明专利]一种融合图像点云特征的分类方法和装置

说明书

本发明实施例涉及一种融合图像点云特征的分类方法和装置，所述方法包括：获取指定时段内指定摄像头拍摄的多个图像生成第一图像序列，指定雷达扫描生成的多个扫描点云生成第一点云序列；根据第一图像序列和第一点云序列进行图像点云融合特征提取处理生成对应的融合特征向量；基于分类神经网络对融合特征向量进行分类处理得到对应的分类向量；将取值最大的分类向量数据对应的分类类别作为本次分类结果输出。通过本发明，可以提高分类精度。

技术领域

本发明涉及数据处理技术领域，特别涉及一种融合图像点云特征的分类方法和装置。

背景技术

自动驾驶系统的感知模块会基于感知传感器(摄像头、雷达等)获取的感知数据(摄像头拍摄图像、雷达点云)对自车行驶环境中的障碍物进行目标分类并将分类结果传输给下游模块。在进行分类处理时，感知模块的常规做法是先分别基于图像特征、点云特征进行分类，再对二者分类结果进行比对，若分类一致或有交集则将相交部分作为分类结果输出。这种处理方式一方面要执行两组完整的分类处理流程、时间消耗较大；另一方面分类交集范围不好确定，容易导致分类范围过大的问题。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种融合图像点云特征的分类方法、装置、电子设备及计算机可读存储介质，选择最近时段内的图像和点云组成对应的图像、点云序列，并基于ResNet18神经网络对图像序列进行特征提取、基于PointNet神经网络对点云序列进行特征提取，并对提取出的图像、点云特征进行向量合并，并基于长短期记忆网络(Long Short-Term Memory,LSTM)对合并向量进行特征融合，再使用分类神经网络根据特征融合向量进行分类处理。通过本发明，一方面只需并列执行两组特征处理流程，缩短了处理时间；另一方面基于图像和点云的融合特征进行分类，分类结果更明确、分类精度更高。

为实现上述目的，本发明实施例第一方面提供了一种融合图像点云特征的分类方法，所述方法包括：

获取指定时段内指定摄像头拍摄的多个图像生成第一图像序列；并获取所述指定时段内与所述指定摄像头对应的指定雷达扫描生成的多个扫描点云生成第一点云序列；所述第一图像序列包括多个第一图像，所述第一点云序列包括多个第一点云；

根据所述第一图像序列和所述第一点云序列进行图像点云融合特征提取处理生成对应的融合特征向量；

基于分类神经网络对所述融合特征向量进行分类处理得到对应的分类向量；所述分类向量为一维向量，包括指定数量m个分类向量数据，各个所述分类向量数据分别对应一个分类类别；所述分类类别包括6类类别分别为车、行人、骑行者、绿植、栅栏和其它物体；

将取值最大的所述分类向量数据对应的所述分类类别作为本次分类结果输出。

优选的，所述根据所述第一图像序列和所述第一点云序列进行图像点云融合特征提取处理生成对应的融合特征向量，具体包括：

根据所述第一图像序列进行图像特征提取处理生成对应的第一特征向量；

根据所述第一点云序列进行点云特征提取处理生成对应的第二特征向量；

对所述第一、第二特征向量进行向量合并得到对应的第三特征向量；

将所述第三特征向量输入LSTM神经网络进行特征融合处理生成对应的融合特征向量。

进一步的，所述根据所述第一图像序列进行图像特征提取处理生成对应的第一特征向量，具体包括：

对所述第一图像序列的所述第一图像的数量进行统计生成第一数量b₁；

将所述第一图像序列的各个所述第一图像分别输入ResNet18神经网络进行特征提取处理生成对应的第一图像特征向量；所述第一图像特征向量的形状为1×1024；