[发明专利]基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置

权利要求书

1.一种基于场景的激光雷达数据和雷达数据在场景中进行对象检测的方法，该方法包括：

将激光雷达数据和雷达数据变换到公共坐标系；

从雷达数据中提取不同的雷达点簇；

从激光雷达数据中提取不同的激光雷达点簇并将每个激光雷达点簇与目标对象相关联；

基于连续激光雷达图像之间相应激光雷达点簇的移动，估计目标对象的速度；以及

将估计的目标对象的速度与对应的雷达点簇的速度信息进行比较，以识别对应的雷达点簇和激光雷达点簇，

其中将估计的目标对象的速度与对应的雷达点簇的速度信息进行比较包括将激光雷达点簇的质心的速度与雷达点簇的质心的速度进行比较。

2.如权利要求1所述的方法，还包括

如果对应的激光雷达点簇和雷达点簇的速度之间的差异低于预定义的阈值，那么检测到对象。

3.如权利要求1或2所述的方法，还包括

提供场景的相机数据；

将激光雷达数据投影到相机数据上以生成投影激光雷达数据；

将投影激光雷达数据编码为多通道信息，以生成经编码的投影激光雷达数据；以及

将相机数据和经编码的投影激光雷达数据馈送到一个或多个卷积神经网络，所述卷积神经网络被配置为基于相机数据和经编码的投影激光雷达数据来检测或分类场景中的对象。

4.如权利要求3所述的方法，包括

将相机数据和经编码的投影激光雷达数据馈送到卷积神经网络的至少一个公共卷积层中，以学习图像特征；以及

将学得的图像特征馈送到卷积神经网络的至少一个完全连接的层中，以检测或分类场景中的对象。

5.如权利要求3所述的方法，包括

将相机数据和经编码的投影激光雷达数据馈送到相应的分别的卷积神经网络中，以学习分别的特征；

联接学得的分别的特征；以及

将联接的特征馈送到公共卷积神经网络中，以检测或分类场景中的对象。

6.如权利要求3所述的方法，其中对投影激光雷达数据进行编码包括将相应的深度值编码为三通道颜色信息，以生成经编码的投影激光雷达数据。

7.如权利要求3所述的方法，其中对投影激光雷达数据进行编码包括将相应的深度值编码到包括水平视差、地上高度和重力角的三个通道中，以生成经编码的投影激光雷达数据。

8.如权利要求3所述的方法，其中将激光雷达数据投影到相机数据上包括生成包括用于将激光雷达数据的坐标系变换到相机数据的坐标系上的旋转和平移部分的变换矩阵。

9.如权利要求8所述的方法，其中生成变换矩阵包括确定使以下表达式最大化的变换矩阵T

其中，N表示图像的数量，i表示激光雷达点云X_i^f中的第i个像素，并且E_i^f表示从相机数据导出的边缘图像E中的第i个像素。

10.一种基于场景的激光雷达数据和雷达数据在场景中进行对象检测的装置，该装置包括

处理电路系统，被配置为

将激光雷达数据和雷达数据变换到公共坐标系；

从雷达数据中提取不同的雷达点簇；

从激光雷达数据中提取不同的激光雷达点簇并将每个激光雷达点簇与目标对象相关联；

基于连续激光雷达图像之间相应激光雷达点簇的移动，估计目标对象的速度；以及

将估计的目标对象的速度与对应的雷达点簇的速度信息进行比较，以识别对应的雷达点簇和激光雷达点簇，

其中将估计的目标对象的速度与对应的雷达点簇的速度信息进行比较包括将激光雷达点簇的质心的速度与雷达点簇的质心的速度进行比较。

11.一种车辆，包括

激光雷达，用于捕获车辆环境的激光雷达数据；

雷达，用于捕获车辆环境的雷达数据；

处理电路系统，被配置为

将激光雷达数据和雷达数据变换到公共坐标系；

从雷达数据中提取不同的雷达点簇；

从激光雷达数据中提取不同的激光雷达点簇并将每个激光雷达点簇与目标对象相关联；

基于连续激光雷达图像之间相应激光雷达点簇的移动，估计目标对象的速度；以及

将估计的目标对象的速度与对应的雷达点簇的速度信息进行比较，以识别对应的雷达点簇和激光雷达点簇，

其中将估计的目标对象的速度与对应的雷达点簇的速度信息进行比较包括将激光雷达点簇的质心的速度与雷达点簇的质心的速度进行比较。