[发明专利]一种基于移动测量系统的融合点云序列影像路牌检测方法

权利要求书

1.一种基于移动测量系统的融合点云序列影像路牌检测方法，其特征在于，

所述移动测量系统包括：定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器、移动测量车；

所述定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器都装载在所述移动测量车上；

所述微处理器分别与所述的定位传感器、惯性测量单元、激光扫描雷达、相机依次连接；

所述定位传感器用于采集惯性测量单元的世界大地坐标系坐标，并传输至所述微处理器；

所述惯性测量单元为用于采集惯性测量单元的角速度和加速度，并传输至所述微处理器；

所述激光扫描雷达用于采集三维激光点云数据，并传输至所述微处理器；

所述相机用于采集序列影像数据，并传输至所述微处理器；

所述微处理器将所述惯性测量单元的角速度和加速度转化为姿态信息即惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角，并和所述惯性测量单元的世界大地坐标系坐标一起组成移动测量车的轨迹点序列数据，利用轨迹点序列数据将原始三维激光点云数据的相对坐标转化为世界大地坐标系下的绝对坐标，并对三维激光点云数据和序列影像数据进行整理，使之具有相同的时间基准，建立三维激光点云数据和序列影像数据之间的联系；

所述融合点云序列影像路牌检测方法，包括以下步骤：

步骤1：利用移动测量系统采集三维激光点云数据、序列影像数据、轨迹点序列数据；

步骤2：基于移动测量车的轨迹点序列数据的高程变化定位道路边界，从所述激光点云中获得道路边界附近点云；基于高程分布直方图排除道路边界附近点云的路面点，获得道路边界附近的地物点云；对道路边界附近地物点云进行欧式聚类，获得多个单独的聚类簇；对每个聚类簇进行多视角投影，利用MVCNN网络识别包含路牌的聚类簇；之后利用RANSAC平面拟合集形态学方法提取路牌聚类簇中的路牌平面点云；

步骤3：利用点云坐标系和惯性测量单元坐标系、惯性测量单元坐标系和相机的图像坐标系之间坐标转换关系，得到点云坐标系和图像坐标系之间的转换关系；利用所述转换关系将所述路牌平面点云投影到对应的序列影像数据上，获得同一路牌点云ROI序列；

步骤4：首先引入公开路牌数据集对YOLOv4网络进行训练，之后利用训练好的YOLOv4网络在路牌点云ROI序列附近进行路牌检测，得到路牌影像ROI序列，最后计算路牌点云ROI序列和路牌影像ROI序列的匹配度，得到最优的点云与图像的融合结果，在融合结果上可以同时进行几何测量和内容识别，最终建立路牌数据库。

2.根据权利要求1所述的基于移动测量系统的融合点云序列影像路牌检测方法，其特征在于，步骤1所述三维激光点云数据为：

其中，表示第k个三维激光点云数据P_k中的第l_k个激光点，为第k个三维激光点云数据中的第l_k个激光点的三维坐标，K表示三维激光点云数据的个数，L_k表示第k个三维激光点云数据的激光点个数；

步骤1所述序列影像数据为：

其中，I_k表示第k个三维激光点云数据所对应的序列影像数据，表示序列影像数据I_k中的第s_k张影像，S_k表示第k个三维激光点云数据对应的序列影像数据中影像的张数，表示序列影像数据I_k中的第s_k张影像上第i行第j列的像素，i∈[1,M]，j∈[1,N]，M表示影像的行数，N表示影像的列数；

步骤1所述轨迹点序列数据为：

其中，T_k为第k个三维激光点云数据所对应的轨迹点序列数据，表示轨迹点序列数据T_k中的第h_k个轨迹点，(X,Y,Z)为惯性测量单元坐标原点在世界大地坐标系下的坐标，(φ,ω,κ)分别为惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角。