[发明专利]基于相机和激光雷达的多类目标检测方法

权利要求书

1.一种基于相机和激光雷达的多类目标检测方法，其特征在于，包括如下步骤：

(1)分别通过传感器获得数据，相机获得RGB图像F₁，激光雷达获得点云R₁(x,y,z,r)；

(2)对点云R₁(x,y,z,r)进行体素化预处理，获得原始伪图像P：

(3)将原始伪图像P的空间信息加强，生成空间加强伪图像Ps_i：

(3a)将点云特征R_i与伪图像特征P进行配准，生成模态内映射矩阵M_RP：

M_RP＝R_i/P_i；

(3b)根据采样位置p'和模态内映射矩阵M_RP，生成一个特征表示V_RP：

其中，K表示双线性插值函数，表示采样位置p'处相邻像素的特征；

(3c)利用SetAbstraction操作对点云特征R_i进行特征提取，生成待融合点云特征R_i'；

(3d)将特征表示V_RP和待融合点云特征R_i'逐点融合，生成已融合点云特征R_i”：

R_i”＝σ(Wtanh(UV_RP+VR_i))

其中，W,U和V是三个不同数值的可学习权重矩阵，σ表示sigmoid激活函数，tanh表示双曲正切函数；

(3e)对已融合点云特征R_i”利用两个全连接层FC()得到空间加强伪图像Ps_i：

Ps_i＝P_i×FC(FC(R_i”))

(4)将RGB图像F_i的颜色信息融入空间加强伪图像Ps_i，生成颜色加强伪图像Pc_i：

(4a)对RGB图像F_i尺寸进行调整的，使其尺寸与空间加强伪图像Ps_i的尺寸相同；

(4b)将调整尺寸后的RGB图像F_i和空间加强伪图像Ps_i分别执行BatchNorm操作和ReLu操作，并在通道维度上进行连接得到待变换图PF；

(4c)对待变换图PF利用空间注意力公式和通道注意力公式分别生成空间因子矩阵M_s和通道因子矩阵M_c；

(4d)根据空间因子矩阵M_s和通道因子矩阵M_c，计算得到伪视图变换矩阵M_cs：

M_cs＝0.6*M_c+0.4*M_s；

(4e)将伪视图变换矩阵M_cs与RGB图像F_i相乘得到视角转换伪图像Pv_i，并将该伪图像Pv_i与空间加强伪图像Ps_i在通道维度进行拼接，生成双加强伪图像Pc_i；

(5)根据双加强伪图像Pc_i获得双加强伪图像：

(5a)对双加强伪图像Pc_i进行卷积，得到降采样双加强伪图像Pc_i+1，返回步骤(3)；

(5b)重复步骤(5a)，最终得到双加强伪图像Pc₃；

(6)对双加强伪图像Pc₃执行两次转置卷积，分别得到已转置两个特征图Pt₁和Pt₂。将双加强伪图像Pc₃与已转置的两个特征图Pt₁、Pt₂依次拼接，得到待检测特征图F_U；

(7)将待检测特征图F_U送入SSD检测器，生成汽车行进过程中对前方目标的检测结果。