[发明专利]一种基于移动测量系统的融合点云序列影像路牌检测方法

说明书

本发明公开了一种基于移动测量系统的融合点云序列影像路牌检测方法。本发明首先基于点云在空间上的聚类性及路牌的平面性，以欧式距离聚类为基础，利用MVCNN网络，实现路牌点云的多视角特征提取与自动分类。然后，通过激光扫描雷达与相机之间的空间相对位置关系，定位出包含候选路牌的所有序列影像数据及对应同一路牌的ROI。最后，基于YOLOv4小目标检测网络，进一步验证路牌点云ROI，并通过计算影像检测得到的路牌影像ROI结果与空间关联得到的路牌点云ROI结果的匹配度，得到最优的点云与图像的融合结果，便于同时进行几何测量和内容识别，并进一步对路牌识别结果进行建档建库。对于各种不同的场景，本发明具有较高的准确性和鲁棒性。

技术领域

本发明属于路牌识别技术领域，尤其涉及一种基于移动测量系统的融合点云序列影像路牌检测方法。

背景技术

路牌是用于管理交通、保障交通安全的重要设施。对路牌进行自动检测既可以给现有路牌资源的建档建库及其维护，也可以用于驾驶辅助，及时提醒驾驶员，从而确保行车安全。移动测量车安装有定位传感器、惯性测量单元、激光扫描雷达、相机等多种传感器，可以同时采集道路两侧的三维激光点云数据和序列影像数据，获得路牌的位置、形状、颜色、纹理等信息，为路牌检测提供了全面的数据。目前的研究主要集中在单独利用影像或点云对路牌的检测。但是三维点云虽然记录路牌的位置和几何形状信息，但缺乏纹理及光谱信息，无法对形状相似的地物进行区分。而影像虽然记录了丰富的纹理及光谱信息，能连续多次采集同一路牌，但缺乏直接的位置和几何信息，需要对序列影像数据进行复杂的匹配和跟踪，以避免同一路牌的重复而矛盾的检测。

因此，如何联合路牌的三维点云和序列影像数据信息实现以对象为基础的路牌检测，是目前亟需解决的技术难题。

发明内容

针对现有技术的缺陷或改进需求，本发明提出了一种基于移动测量系统的融合点云序列影像路牌检测方法，由此解决如何联合路牌的三维点云和序列影像数据信息实现以对象为基础的路牌检测的技术难题。

为实现上述目的，按照本发明的一个方面，提供了一种基于移动测量系统的融合点云序列影像路牌检测方法。

本发明移动测量系统包括：定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器、移动测量车；

所述定位传感器、惯性测量单元、激光扫描雷达、相机、微处理器都装载在所述移动测量车上；

所述微处理器分别与所述的定位传感器、惯性测量单元、激光扫描雷达、相机依次连接；

所述定位传感器用于采集惯性测量单元的世界大地坐标系坐标，并传输至所述微处理器；

所述惯性测量单元为用于采集惯性测量单元的角速度和加速度，并传输至所述微处理器；

所述激光扫描雷达用于采集三维激光点云数据，并传输至所述微处理器；

所述相机用于采集序列影像数据，并传输至所述微处理器；

所述微处理器将所述惯性测量单元的角速度和加速度转化为姿态信息即惯性测量单元坐标系在世界大地坐标系下的滚动角、俯仰角和航偏角，并和所述惯性测量单元的世界大地坐标系坐标一起组成移动测量车的轨迹点序列数据，利用轨迹点序列数据将原始三维激光点云数据的相对坐标转化为世界大地坐标系下的绝对坐标，并对三维激光点云数据和序列影像数据进行整理，使之具有相同的时间基准，建立三维激光点云数据和序列影像数据之间的联系；

所述融合点云序列影像路牌检测方法，包括以下步骤：

步骤1：利用移动测量系统采集三维激光点云数据、序列影像数据、轨迹点序列数据；