[发明专利]一种面向毫米波雷达与视频图像的数据融合方法及系统

说明书

本发明提供一种面向毫米波雷达与视频图像的数据融合方法及系统，其方法包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在雷达坐标系中x轴与y轴上的坐标值；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍在木棍图像中的坐标值作为该白色木棍在图像坐标系中y轴与z轴上的坐标值；步骤S5，根据预定距离、白色木棍在雷达坐标系中以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。

技术领域

本发明属于数字图像处理及多传感器数据融合领域，涉及一种毫米波雷达和图像数据融合的配准方法设计，具体涉及一种基于木棍检测的面向毫米波雷达与视频图像的数据融合方法及系统。

背景技术

近年来，随着自动驾驶技术的发展，多传感器检测技术慢慢走入人们的视野，通过多传感器对路况进行检测，可以在主动安全方面发挥重要作用。例如毫米波雷达以及车载摄像头，其中毫米波雷达受环境影响的因素较少，可以测量出前方范围内目标的径向距离和速度；摄像头可以基于传统机器学习或深度学习的目标检测，检测出前方目标的位置，为自动驾驶车辆的动作决策提供重要参考。如何将这些多传感器之间的数据进行融合，从而更好地为自动驾驶技术提供帮助，也是目前车辆主动安全的热门研究方向。

传统的毫米波雷达和图像识别数据融合方法包括时间融合和空间融合。在空间融合上，大多采用坐标系转换的方法，即，将世界坐标系、雷达坐标系、摄像头坐标系进行坐标转换，图1示出了各个坐标系在自动驾驶车辆上的分布，具体为：雷达坐标系XrOrYr，图像坐标系XcOcYc以及世界坐标系XwOwYw。这种坐标系转换方法可以使得摄像头坐标系、雷达坐标系中测定的物体具体位置在世界坐标系中进行对应，从而得到实际世界物体在图像画面中的位置，进而完成后续的目标配准和目标识别等操作。

然而，在进行图像坐标系的对应时，对于理想的针孔模型不能十分准确地描述摄像头真实的成像几何关系，尤其在摄像头使用广角镜头时，实际成像在远离图像中心处会出现较大的畸变。即，通过真实镜头在成像平面上实际成的像和通过针孔模型在成像平面上理想成的像不同，距离投影中心越远，畸变越严重。

传统的方法是采用张正友标定法等标定方法，从数学理论的角度进行配准，在图像数据源头就进行校正。

但是，即使通过上述方法在理论层面完成了标定，在实际运用中，特别是与雷达的配合中测距，仍存在一定的误差。且上述方法的步骤繁多，需要很多个阶段的配准，导致每个阶段的误差积累放大，最终的融合效果在准确度上依然不尽如人意。

发明内容

为解决上述问题，提供一种雷达和图像各自最终识别结果为基准的、具有高准确率的面向毫米波雷达与视频图像的数据融合方法及系统，本发明采用了如下技术方案：

本发明提供了一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，白色木棍垂直于水平面；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍的木棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；步骤S5，根据预定距离、白色木棍在雷达坐标系中的坐标以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。