[发明专利]一种基于多尺度特征的点云与图片融合方法、装置及其设备

说明书

本发明实施例提供了一种基于多尺度特征的点云与图片融合方法、装置及其设备，所述方法包括：通过提取特征网络获得至少两组点云特征与图片特征，并对特征进行第一次卷积操作；根据抽象程度进行分组并对每组做分别逐元素取平均融合；将第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作；将经跳跃连接和线性融合后获得的特征图做第二次卷积操作；将经第二次卷积操作获得的四类特征进行逐元素取平均融合；将取平均融合后得到新的融合特征进行第三次卷积操作，并作为最终输出特征。本发明所述方法能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于多尺度特征的点云与图片融合方法、装置及其设备。

背景技术

目前，人们对自动驾驶安全问题的关注，使得自动驾驶领域的3D目标检测研究成为了热点。相对于2D目标检测，3D目标检测需要检测出2D目标检测所没有要求的深度信息，因此雷达传感器获得的包含深度信息的点云数据成为了3D目标检测的数据来源之一。然而，由于点云数据往往是稀疏的，并且不能传达丰富的纹理信息，使得检测算法不能很好地达到预期的效果。而与点云数据相比，图片数据虽然无法表示深度信息，但是可以表示丰富的纹理信息，在这种情况下，设计可以有不错效果的同时利用点云数据与图片数据进行3D目标检测的算法成为了一个急待解决的问题。

然而，现有的点云数据与图片融合方法往往采用如线性相加或取平均值的方法进行处理，处理方法过于简单并且数据间无交互，如此，现有方法在对3D目标定位与方向预测方面均存在定位效果不佳，预测精准度不高等问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于多尺度特征的点云与图片融合方法及其装置，旨在能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

本发明解决上述技术问题所采用的技术方案如下：

本发明的第一方面提供一种基于多尺度特征的点云与图片融合方法，该方法包括：

通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作；

将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征；

将点云特征与图片特征经所述第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作；

将经所述跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作；

将经所述第二次卷积操作获得的特征进行逐元素取平均融合，得到新的融合特征；

将经所述第二次卷积操作获得的特征进行逐元素取平均融合后得到新的融合特征进行第三次卷积操作，并作为数据融合的最终输出特征。

在一些实施例中，所述所述通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作的步骤还包括：

同时控制卷积层输出的特征图个数，对应数学公式为：

其中“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果；

代表不同卷积层的权重参数；该权重参数经网络学习自动获得；

“im1、pc1、im2、pc2”代表不同卷积层的输入特征；