[发明专利]一种时-空同步的毫米波雷达和视觉信息融合方法

权利要求书

1.一种时-空同步的毫米波雷达和视觉信息融合方法，其特征在于包括以下步骤：

步骤一、利用毫米波雷达传感器的报文数据解析完成被测目标初定位，具体步骤为:

首先将毫米波雷达传感器安装在行驶列车车头位置，以毫米波雷达最大平面的几何中心为坐标原点，以行驶列车前进方向为Y_rw轴，竖直向上方向为Z_rw轴，行驶列车正右侧方向为X_rw轴,建立毫米波雷达三维直角坐标系，毫米波雷达传感器在毫米波雷达三维直角坐标系中的俯仰角、偏航角和滚转角均为零，毫米波雷达传感器通过CAN总线与计算机进行连接，毫米波雷达传感器用于获取对前方所有目标列车检测得到的报文数据信息，然后利用计算机MFC功能及毫米波雷达通讯协议完成雷达报文数据解析，所述的前方所有目标列车包含前方同轨列车和前方相邻轨道列车,所述的报文数据信息包括前方所有目标与毫米波雷达坐标原点的横向距离d_x和纵向距离d_y；

步骤二、利用相机基于图像处理技术完成行驶列车行进轨道检测和前方同轨列车位置检测，具体包括以下步骤：

第一步，将相机安装于毫米波雷达传感器正下方的行驶列车车头上，以相机的光心为坐标原点建立相机三维直角坐标系X_cw-Y_cw-Z_cw，相机三维直角坐标系各个坐标轴与毫米波雷达三维直角坐标系中各个坐标轴平行且Z_rw轴与Z_cw轴重合,在相机三维直角坐标系下相机的俯仰角、偏航角和滚转角均为零，相机与毫米波雷达之间以及相机与计算机之间分别通过USB数据线连接,利用相机对行驶列车前方的场景进行实时图像采集，采集的前方场景图像中包含前方所有目标列车以及行驶列车行进轨道,建立图像坐标系X_p-Y_p,图像坐标系坐标原点位于相机光轴与图像平面交点，X_p，Y_p分别沿前方场景图像长度方向和宽度方向；

第二步，对第一步中相机采集的前方场景图像基于累计概率霍夫变换完成行驶列车行进轨道直线检测及基于直线斜率完成行驶列车行进轨道直线初步筛选；

第三步，对第二步所得包含左右两侧轨道在内的多条直线信息进行基于DBSCAN概率密度聚类的轨道直线筛选和基于队列的轨道直线修正，得到修正后的两侧轨道直线位置信息,左右两侧轨道直线分别以l_left，l_right表示，斜率分别为k_left，k_right，取左右两侧轨道直线l_left，l_right交点以p₀表示；

第四步，选取第三步所得修正后的两侧轨道直线位置信息，使用基于对数的轨道直线遍历方式，实现沿轨道方向前方同轨列车附近点的高密度遍历以及远离同轨列车位置的低密度遍历得到左右两侧轨道直线的遍历点在前方场景图像中的点坐标p_left(x_left,y_left)，p_right(x_right,y_right)，

第五步，选取第四步所得左右两侧轨道遍历点在前方场景图像中的点坐标p_left(x_left,y_left)，p_right(x_right,y_right)，基于左右两侧轨道直线的遍历点灰度值梯度变化完成对于前方同轨列车的识别，在左右轨道遍历点中存在灰度值突变的位置，将其确定为前方同轨列车位置；

第六步，选取坐标为p(x_bottom,y_bottom)的前方同轨列车底部中间位置点，基于卡尔曼滤波进行位置修正，得到每一周期内平滑过渡的前方同轨列车底部中间位置点信息；

步骤三，基于时-空同步的联合标定方法融合毫米波雷达信息和视觉信息，完成前方同轨列车的准确识别与测距，具体包括以下步骤：

第一步，毫米波雷达和相机多线程同步；

在进行数据采集时，选取毫米波雷达数据接收线程、相机接收线程和计算机数据处理线程三线程融合方式实现基于毫米波雷达和视觉信息的多线程时间同步；

第二步，利用毫米波雷达坐标系、相机坐标系以及图像坐标系之间的平移和旋转关系得到毫米波雷达坐标系中任意一雷达点转换到图像坐标系中的位置，然后将步骤二中第六步所得前方同轨列车底部中间位置点p(x_bottom,y_bottom)的图像位置信息转换为毫米波雷达坐标系下的坐标，最后计算得到同轨列车底部中间位置点p(x_bottom,y_bottom)在毫米波雷达坐标系下的相对距离d_w；

第三步，首先将步骤一中雷达获得的所有目标的横向距离d_x和纵向距离d_y转换到相机的图像坐标系X_p-Y_p下，以雷达点坐标p_i(x_p,y_p)的形式在前方场景图像中显示，然后将步骤一中前方所有目标与毫米波雷达坐标原点的横向距离d_x和纵向距离d_y转化为毫米波雷达坐标系下的相对距离最后利用毫米波雷达传感器和相机空间距离信息融合完成雷达点坐标p_i(x_p,y_p)的筛选，得到前方同轨列车的雷达点位置信息。