[发明专利]一种多传感器融合感知方法及装置

权利要求书

1.一种多传感器融合感知方法，其特征在于，包括：

获取目标区域的RGB图像和点云数据；

利用预先训练完成的Transformer编码器对点云数据的特征张量进行编码，得到三维体素特征图；将三维体素特征图进行鸟瞰视角映射得到二维特征图；利用候选区域生成网络对二维特征图进行处理，得到点云ROI区域，从点云ROI区域提取出点云ROI特征；

对点云数据和RGB图像进行处理得到伪点云图像；在伪点云图像上获取与点云ROI区域相同的伪点云ROI区域，从伪点云ROI区域提取出伪点云ROI特征；

利用预先训练完成的交叉注意力融合模型对点云ROI特征和伪点云ROI特征进行处理，得到融合后的ROI特征；

利用预先训练完成的感知模型对融合后的ROI特征进行处理，得到三维目标检测框、目标类别以及道路分割结果。

2.根据权利要求1所述的方法，其特征在于，利用预先训练完成的Transformer编码器对点云数据的特征张量进行编码之前还包括：

对点云数据进行体素化处理，得到多个大小为H×W×L的体素块，H、W和L为一个体素块的长、宽和高；

对每个体素块进行采样，得到N个采样点；

计算每个体素块内的N个采样点的三维坐标和反射强度的平均值，得到4个维度的体素块特征向量为N个采样点的三维坐标的平均值；/为N个采样点的反射强度的平均值；

利用一个全连接层将4个维度的体素块特征向量扩展为d维的特征张量f_voxel。

3.根据权利要求2所述的方法，其特征在于，所述Transformer编码器包括依次连接的自注意力模块、BatchNorm层、第一加法器、两个串联的全连接层、第二加法器和线性映射层；自注意力模块包括依次连接的处理单元和softmax激活函数，处理单元包括并联的第一处理分支、第二处理分支和第三处理分支；

利用预先训练完成的Transformer编码器对点云数据的特征张量进行编码，得到三维体素特征图；包括：

利用第一处理分支对特征张量进行处理，得到矩阵Q：

Q＝W_Q·f_voxel

其中，W_Q为权重矩阵；

利用第二处理分支对特征张量和对应体素块的位置信息P进行处理，得到矩阵K：

K＝W_K·(f_voxel+P)

其中，W_K为权重矩阵；

利用第三处理分支对特征张量和对应体素块的位置信息P进行处理，得到矩阵V：

V＝W_V·(f_voxel+P)

其中，W_V为权重矩阵；

利用softmax激活函数对矩阵Q、矩阵K和矩阵V进行处理，得到注意力特征Att：

/

其中，d为特征张量f_voxrl的维度；

利用BatchNorm层对经过激活函数的注意力特征Att进行处理，得到第一残差；

利用第一加法器对特征张量和第一残差进行加法运算，得到第一中间特征张量；

依次利用两个全连接层对第一中间特征张量进行处理，得到第二残差；

利用利用第二加法器对第一中间特征张量和第二残差进行加法运算，得到第二中间特征张量；

利用线性映射层对经过激活函数的第二中间特征张量进行处理，得到4d通道的三维体素特征图。