[发明专利]一种深度信息获取方法及装置

说明书

本公开涉及一种深度信息获取方法及装置，该方法首先确定ToF相机与双目摄像头中左右两个摄像头的相对几何位置关系，以及他们的内部参数；采集ToF相机生成的深度图和两个摄像头的图像；然后将深度图转化为两个摄像头的图像对应像素点之间的双目视差值；利用转化后的双目视差值将ToF相机生成的深度图中的任一像素点映射到两个摄像头的图像对应的像素点坐标上，得到稀疏视差图；最后对ToF相机生成的深度图中的所有像素点计算得到稠密视差图，进而得出更精确稠密的深度信息；或者用稀疏视差图逆校准所采集的ToF相机生成的深度图，从而输出更精确的深度信息。

技术领域

本公开属于深度传感器、机器视觉、图像处理、双目立体视觉、TOF技术领域，特别涉及一种深度信息获取方法及装置。

背景技术

近年来三维深度感知设备开始进入人们的眼球，高精度的三维深度感知设备作为一种新型的获取外界信息的媒介，有利于推动机器视觉的发展，实现机器人理解外部世界，同时也推动了人机交互的发展。深度感知技术大致可分为被动式和主动式。传统的双目立体视觉测距是一种被动式测距方法，其受环境光影响大、立体匹配过程复杂。主动式测距方法主要有结构光编码和ToF(飞行时间)两种方法。ToF相机通过计算发射激光的飞行时间获取对应像素的深度信息，其获取的深度图像分辨率比较低，但远距离深度精度比较高，与双目立体视觉相结合，可以实现优势互补，不仅可以提高深度图像的分辨率，简化双目立体匹配和深度计算的复杂性，而且可以同时获取每个像素点的图像信息和深度信息。

发明内容

鉴于此，本公开提供了一种深度信息获取方法，包括如下步骤：

S100：确定ToF相机生成的深度图的像素点与双目摄像头中左右两个摄像头的图像的像素点之间的相对几何位置关系，以及ToF相机和左右两个摄像头的内部参数；

S200：采集所述ToF相机生成的深度图和所述两个摄像头的图像；

S300：将所述深度图转化为所述两个摄像头的图像对应像素点之间的双目视差值；

S400：利用转化后的双目视差值将ToF相机生成的深度图中的任一像素点映射到所述两个摄像头的图像对应的像素点坐标上，得到稀疏视差图；

S500：对ToF相机生成的深度图中的所有像素点执行步骤S400得到稠密视差图，进而得出更精确稠密的深度信息；或者用所述稀疏视差图逆校准步骤S200中所采集的ToF相机生成的深度图，从而输出更精确的深度信息。

本公开还提供了一种深度信息获取装置，包括：一个ToF相机、双目摄像头中左右两个摄像头和处理单元；其中所述ToF相机获得深度图；所述两个摄像头获得存在视差的双路图像，所述处理单元用于执行如权利要求1所述的深度信息获取方法。

通过上述技术方案，将ToF相机的稀疏深度图经转换和配准后映射到高分辨率的左右摄像头的图像上，得到更精确、更稠密的深度图，同时也可利用左右摄像头的图像对ToF相机原有的深度图进行校准。该方法结合了ToF相机和双目立体测距的优势，通过多传感器融合算法处理，大幅提升深度测距的精度和分辨率。

附图说明

图1是本公开一个实施例中所提供的一种深度信息获取方法的流程示意图；

图2是本公开一个实施例中所提供的一种深度信息获取装置的结构示意图；

图3是本公开一个实施例中双目和ToF相机标定的示意图；

图4是本公开一个实施例中的左右摄像头和ToF相机的位置关系示意图；

图5是是本公开一个实施例中的图像块提取示意图。

具体实施方式

下面结合附图1至图5对本发明进行进一步的详细说明。