[发明专利]基于物体通用特征的目标检测方法、装置、设备及介质

权利要求书

1.一种基于物体通用特征的目标检测方法，其特征在于，包括以下步骤：

获取激光雷达采集的激光雷达点云图像、可见光相机采集的可见光图像和红外相机采集的热红外图像；

将所述激光雷达点云图像输入至预设的骨干网络，基于多尺度点云分割网络分割点云特征，提取得到所述激光雷达点云图像的点云特征，并根据所述可见光图像和所述热红外图像融合得到双光融合图像；以及

从所述双光图像中提取目标图像特征，并基于预设的鸟瞰图空间，对所述目标图像特征和所述点云特征进行跨模态融合，并基于跨模态融合结果在所述鸟瞰图空间进行目标检测。

2.根据权利要求1所述的方法，其特征在于，获取所述激光雷达采集的激光雷达点云图像、可见光相机采集的可见光图像和红外相机采集的热红外图像之前，还包括：

根据预设标定策略，对所述激光雷达点云图像进行外参标定，并对所述可见光图像和所述热红外图像进行内参标定；

同步所述可见光相机和所述红外相机的时间戳。

3.根据权利要求1所述的方法，其特征在于，根据所述可见光图像和所述热红外图像融合得到双光融合图像，包括：

采集转换后的所述可见光图像和所述热红外图像，生成已转换可见光图像和已转换热红外图像；

基于预设的变换模型，分别配准所述已转换可见光图像和所述已转换热红外图像，得到已配准可见光图像和已配准热红外图像，其中，所述预设的变换模型为：

其中，(x_i,y_i)和(x,y)分别为可见光图像和红外图像下的坐标，(t_x,t_y)为偏移矩阵；

基于预设的双判别器生成对抗网络分别融合高分辨率的转换可见光图像和低分辨率的已配准热红外图像，得到双光融合图像。

4.根据权利要求1所述的方法，其特征在于，从所述双光图像中提取目标图像特征，并基于预设的鸟瞰图空间，对所述目标图像特征和所述点云特征进行跨模态融合，并基于跨模态融合结果在所述鸟瞰图空间进行目标检测，包括：

基于ResNet101骨干网络提取所述双光图像的2D图像特征，并利用BEVFormer网络将所述双光融合图像的2D图像特征转化到所述预设的鸟瞰图空间的3D点云特征，得到所述预设的鸟瞰图空间点云特征；

利用预设的融合加权算法，对所述激光雷点云特征和所述预设的鸟瞰图空间点云特征进行跨模态融合，得到所述跨模态融合结果；

基于所述跨模态融合结果在所述鸟瞰图空间进行目标检测。

5.一种基于物体通用特征的目标检测装置，其特征在于，包括：

获取模块，用于获取激光雷达采集的激光雷达点云图像、可见光相机采集的可见光图像和红外相机采集的热红外图像；

提取模块，用于将所述激光雷达点云图像输入至预设的骨干网络，基于多尺度点云分割网络分割点云特征，提取得到所述激光雷达点云图像的点云特征，并根据所述可见光图像和所述热红外图像融合得到双光融合图像；以及

检测模块，用于从所述双光图像中提取目标图像特征，并基于预设的鸟瞰图空间，对所述目标图像特征和所述点云特征进行跨模态融合，并基于跨模态融合结果在所述鸟瞰图空间进行目标检测。

6.根据权利要求5所述的装置，其特征在于，取所述激光雷达采集的激光雷达点云图像、可见光相机采集的可见光图像和红外相机采集的热红外图像之前，所述获取模块，还用于：

根据预设标定策略，对所述激光雷达点云图像进行外参标定，并对所述可见光图像和所述热红外图像进行内参标定；

同步所述可见光相机和所述红外相机的时间戳。