[发明专利]一种基于单目视觉的三角化测量深度的稠密点云重建方法及系统

说明书

本发明提供一种基于单目视觉的三角化测量深度的稠密点云重建方法及系统，包括读取数据集中的图像；采用极线搜索与块匹配算法对读取到的前后帧图像中的像素点进行匹配；通过三角测量原理计算匹配好的像素点的深度值；采用高斯分布的深度滤波器对像素点的深度值进行滤波处理，保留不确定度最小的像素点的深度值；将图像分割成4*4的像素块，在每个像素块中若各个像素点的深度值均差没有超过设定的阈值，则将整个像素块看成一个点云点，若超过设定的阈值，则将块内深度值最大和最小的像素点看成两个点云点；利用相机模型将像素坐标转换到世界坐标下，结合深度信息，生成点云数据。本发明解决了现有的点云地图创建需多种传感器或者昂贵传感器的问题。

技术领域

本发明涉及无人驾驶环境感知技术领域，具体而言，尤其涉及一种基于单目视觉的三角化测量深度的稠密点云重建方法及系统。

背景技术

目前点云地图的创建基本上都是基于激光传感器和单目摄像头结合直接测得深度图和彩色图，然后根据传感器位姿再逆用相机模型得出点云地图，或者采用多传感器融合等方法，这些方法采用的算法架构都是比较简单直接的，所以就会导致图像处理不够充分，边缘信息或者深度值相差较大的图区处理不够恰达，而且多传感器融合的费用也是比较昂贵的。基于单目视觉的三角化测量深度的稠密点云重建方法，可以解决这两个问题，根据相机的位姿，采用单目相机就可以完成点云地图的创建，算法多元，对图像像素信息进行充分的处理，可以很好的解决图像边缘和深度值相差较大的图区。

发明内容

根据上述提出现有的点云地图创建需多种传感器或者昂贵传感器的技术问题，而提供一种基于单目视觉的三角化测量深度的稠密点云重建方法及系统。本发明根据相机的位姿，采用单目相机就可以完成点云地图的创建，算法多元，对图像像素信息进行充分的处理，可以很好的解决图像边缘和深度值相差较大的图区。

本发明采用的技术手段如下：

一种基于单目视觉的三角化测量深度的稠密点云重建方法，包括如下步骤：

S1、视觉信息读取，已知相机移动轨迹，读取redom数据集中的图像；

S2、采用极线搜索与块匹配算法对读取到的前后帧图像中的像素点进行匹配；

S3、通过三角测量原理计算上述匹配好的像素点的深度值；

S4、采用高斯分布的深度滤波器对计算得到的像素点的深度值进行滤波处理，保留不确定度最小的像素点的深度值，确定像素点的深度值；

S5、确定像素点的深度值后，将图像分割成4*4的像素块，在每个像素块中若各个像素点的深度值均差没有超过设定的阈值，则将整个像素块看成一个点云点，若超过设定的阈值，则将块内深度值最大和最小的像素点看成两个点云点；

S6、利用相机模型将像素坐标转换到世界坐标下，结合深度信息，生成点云数据。

进一步地，所述步骤S2具体为：

S21、确定极线：假设当前帧上的其中一个像素的深度在一个像素深度的最小值与最大值之间，将该最小值点与最大值点投影到下一帧图像上连成线，即为极线；

S22、匹配像素点：确定极线后，采用归一化互相关的方法计算相关性，取相关性最大的块为匹配对象，归一化互相关的公式为：

其中，A表示像素块，(i，j)表示的是像素点的坐标值。

进一步地，所述步骤S3具体为：

S31、计算像素点的深度值：像素点匹配完成后，采用三角化原理计算像素点的深度值，设X₁，X₂为两个匹配像素点的归一化坐标，则：