[发明专利]一种面向毫米波雷达与视频图像的数据融合方法及系统

权利要求书

1.一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：

步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，所述白色木棍垂直于水平面；

步骤S2，通过所述毫米波雷达对所述检测场景进行检测，得到n个所述白色木棍在对应于所述水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；

步骤S3，通过所述摄像头对所述检测场景进行拍摄得到木棍图像；

步骤S4，对所述木棍图像进行数字图像处理得到n个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；

步骤S5，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标值以及在所述图像坐标系中的坐标值，将所述雷达坐标系以及所述图像坐标系基于所述y轴进行映射从而完成所述雷达坐标系以及所述图像坐标系的融合。

2.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：

将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的雷达测量面法线与各个所述白色木棍之间的角度进行对应。

3.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：

将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的各个所述白色木棍之间在y轴上的距离进行对应。

4.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述步骤S4包括以下子步骤：

步骤S4-1，对所述木棍图像采用预定边缘检测算法得到所述木棍边缘点的边缘点位置；

步骤S4-2，基于最小二乘法对所述木棍边缘点进行直线拟合从而使得所述边缘点位置沿对应于所述白色木棍边缘的直线排布；

步骤S4-3，根据各个所述直线所对应的边缘点位置计算各个所述直线之间的直线距离，并将该直线距离最短的两根直线判定为同一所述白色木棍的左右边缘；

步骤S4-4，根据每个所述白色木棍的左右边缘所对应的所述边缘点位置，基于预定中心点计算方法确定所述木棍中心点。

5.根据权利要求4所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述预定中心点计算方法为：

取所述左右边缘两端的4个所述木棍边缘点的边缘点位置，并将计算4个所述木棍边缘点的中心点坐标作为所述白色木棍的中心点。

6.根据权利要求4所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述预定中心点计算方法为：

根据所述边缘点位置计算所述左右边缘的中心线，并将该中心线的中点作为所述白色木棍的木棍中心点。

7.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述步骤S4中木棍中心点的确定方法为：

预先在所述白色木棍的中心点标记具有预定色彩的标记点并存储所述预定色彩的RGB值，根据该RGB值识别出所述木棍图像中的各个所述标记点从而得到所述木棍中心点。

8.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述白色木棍的长度为50-150cm，宽度为2-10cm，

所述预定距离为20-40cm。

9.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：

其中，所述毫米波雷达以及所述摄像头均安装在无人驾驶车辆的正前方中央并在对应于所述z轴的竖直方向上保持对齐。

10.一种面向毫米波雷达与视频图像的数据融合系统，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括：

检测场景，含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的若干个白色木棍；

毫米波雷达，用于对所述检测场景进行检测，得到每个所述白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；

摄像头，用于对所述检测场景进行拍摄得到木棍图像；

中心点确定部，对所述木棍图像进行数字图像处理得到每个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；

坐标融合部，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标以及在所述图像坐标系中的坐标值，将所述图像坐标系以及所述雷达坐标系基于所述y轴进行映射从而完成所述图像坐标系以及所述雷达坐标系的融合。