[发明专利]面向无人驾驶的新型特征层数据融合的方法、系统及目标检测方法

权利要求书

1.面向无人驾驶的新型特征层数据融合的方法，其特征在于，包括如下步骤：

步骤1、将激光雷达采集到的原始点云信息分别投影到鸟瞰图和前景视图，进行特征提取，通过特征点映射之后生成最终的点云特征信息；

步骤2、将相机采集到的图像信息进行特征提取，通过多尺度层级融合，生成最终的图像特征信息；

步骤3、将上述步骤1、2生成的点云特征信息和图像特征信息进行叠加融合，得到叠加特征信息；

步骤4、将原始点云信息经多尺度体素化后作为额外的点云特征信息；

步骤5、将特征提取后的图像特征通过空间金字塔池化后作为额外的图像特征信息；

步骤6、将步骤3、步骤4、步骤5生成的三种特征进行拼接融合，生成最终的融合特征信息。

2.根据权利要求1所述的面向无人驾驶的新型特征层数据融合的方法，其特征在于，所述步骤1中，原始点云信息投影到鸟瞰图以生成鸟瞰图的高度视图和密度视图，投影到前景视图以生成前景视图的高度视图和距离视图。

3.根据权利要求1所述的面向无人驾驶的新型特征层数据融合的方法，其特征在于，所述步骤1中的特征提取，首先调整四个视图的尺寸，保证四个视图的大小相同，然后进行深度方向的拼接，生成初步的点云信息；使用逐层卷积对上述生成的点云信息进行特征提取，共使用三次逐层卷积，不断增加卷积核的大小和输出通道数，简化后续的特征提取操作；之后使用三维稀疏卷积来提取进一步提取点云特征，卷积核的长宽高全部设置为3，并且卷积核的个数依次设置为128，64，32，32。

4.根据权利要求1所述的面向无人驾驶的新型特征层数据融合的方法，其特征在于，所述步骤1中的特征点映射是采用基于克里模型的点云特征映射实现体素到像素的特征映射；具体如下：

将获取的点云特征信息进行逐层的漂移克里金插值，生成稠密的点云特征信息；已知点云特征信息为Z(x)，考虑到点云特征在进行映射时会产生相应的偏移误差，因此假定它由一个确定性漂移量m(x)和一个残差部分R(x)构成，具体公式如下：

z(x)＝m(x)+R(x)

将漂移量定义为已知点云特征信息的数学期望，即漂移量描述了点云特征信息的总体分布特征，其中线性函数aL(x)+b可以通过最小二乘线性拟合获取，具体公式如下：

E(z(x))＝m(x)＝aL(x)+b

最终，将残差表示为如下：

R(x)＝z(x)-m(x)＝z(x)-aL(x)-b

z*(x₀)即表示插值点，i表示插值点附近的点云特征信息，λ则表示附近不同的点对应的权重信息，具体公式如下：

在插值过程中，求解插值点的方差，当方差最小时，即求解出最优的插值拟合模型。此时所求得的权重矩阵即为所需要的插值矩阵，具体的方差表达式如下：

完成插值后，通过调整插值的分辨率，即可获得疏密不同的稠密点云信息，将插值分辨率调整为像素尺度，即可获得与图像像素特征一一对应的点云特征信息。

5.根据权利要求1所述的面向无人驾驶的新型特征层数据融合的方法，其特征在于，所述步骤2的具体实现包括：

S2.1置于车顶的6个不同视角的相机获取6个不同视角的图像，分别为左前视角、右前视角、左后视角、右后视角、前视角以及后视角的图像；

S2.2将左前视角图像和右前视角图像进行叠加，再通过3个1×1的卷积核调整叠加后信息的通道数以满足要求，随后通过注意力机制获取这两个视角在融合过程中所占的比重，再与原特征进行数乘操作，从而获取合适比重的图像信息，最后进行拼接融合，获取两侧车道前部的图像特征信息；

S2.3左后视角图像和右后视角图像也依据上述方法进行处理，获取两侧车道后部的图像特征信息；

S2.4将获取的两侧车道前部的图像特征信息与两侧车道后部的图像特征信息进行叠加；

S2.5将前视角图像特征和后视角图像特征经1×1卷积核调整通道数之后直接与S2.4中获得的叠加特征信息进行拼接融合，生成最终的图像特征信息。