[发明专利]一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法

权利要求书

1.一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于，包括以下步骤：

步骤1、搭建和配准事件触发相机与三维激光雷达构成的融合系统；得到事件触发相机的内参矩阵以及事件触发相机与三维激光雷达之间的外参矩阵，利用这两个矩阵配准事件触发相机与三维激光雷达这两个传感器得到的数据，使这两种数据融合；

步骤2、针对事件触发相机得到的数据，对YOLO3深度学习神经网络进行微调；因为原YOLO3是对普通RGB相机得到的图片进行物体分类识别，而事件触发相机得到的图片为黑白二值图；黑白二值图相对+于彩色照片来说更容易被处理，因此能够相应地对YOLO3深度学习网络进行微调，减少系统的运行负担；另外，用事件触发相机得到的数据对微调过后的YOLO3深度学习神经网络进行训练；

步骤3、实现极小值滤波器；在使用微调过的YOLO3对事件触发相机得到的图片进行物体分类检测之后，每一个被识别到的物体都会有一个对应的数据结构，包括被检测到物体的可能种类的置信度以及物体在图像中的位置和大小；根据步骤1，图像中的某些像素点会被赋予深度信息；通过使用极小值滤波器，对被识别到的物体范围内的带有深度信息的像素点进行筛选，以其中深度的最小值作为该物体的深度；

步骤4、启动事件触发相机与三维激光传感器的融合系统，并运行算法，能够实时分类识别物体及对物体进行定位。

2.根据权利要求1所述的一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于：所述的步骤1中实现如下：

通过由标定获得的事件触发相机的相机内参矩阵和两个传感器之间的外参矩阵进行两种传感器的数据融合；实现从三维激光雷达的点云数据转换到事件触发传感器的图像的二维平面的原理如下：

将三维的点云的点[X,Y,Z,1]转化到二维平面上的点转换的公式如下：

其中，P是事件触发相机的摄像头的内参矩阵：

这里的f是事件触发相机的摄像头焦距，(o_x,o_y)是相机的中心点；C是两个传感器各自坐标系之间的外参矩阵：

在外参矩阵中(t_x,t_y,t_z,r_x,r_y,r_z)是两个传感器的六自由度6DoF；通过上述公式能够将三维激光雷达和事件触发传感器的数据融合；事件触发相机获得的图像对应一个深度矩阵D；D的行列数对应图像的行列，如果三维点云中的某一点根据上述公式对应到图像中的某一像素，那么矩阵D中的对应位置的值就为点云中该点的深度。

3.根据权利要求1所述的一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法，其特征在于：所述的步骤2中，YOLO3深度神经网络的基本原理如下：

S1.YOLO3将输入的图像分为S×S个格子，如果某个物体的Groundtruth的中心位置的坐标处于某个格子之中，该物体就会被这个格子检测；

S2.在S×S中的每个格子中，预测B个boundingbox以及它的置信度，也就是confidencescore，还会预测C个类别的概率；boundingbox的信息为其中x，y，w，h为物体的中心位置相对格子位置的偏移及宽度和高度，均被归一化；为置信度，是反映是否包含物体及包含物体的情况下位置的准确性的；

S3.对于每一个网格，它的预测类别的概率C_i＝P_r(Class_i|Object)；

S4.在预测时，会将类别的概率和置信度相乘：