[发明专利]一种基于光度视差的双目深度获取方法

摘要

本发明公开了一种基于光度视差的双目深度获取方法，属于立体视觉技术领域。本发明所述方法包括标定双目摄像机、立体匹配、深度图滤波、左右相机坐标系深度图转换、初始法向量计算和深度图优化六个步骤。本发明所述方法利用立体匹配的深度作为初始深度，提供了先验条件，简化了计算过程；该方法利用左右视图的灰度信息，较利用单幅图像的灰度信息，加入了光度视差的约束条件，重建精度更高。

主权项

1.一种基于光度视差的双目深度获取方法，其特征在于，包括以下步骤：步骤1.标定双目摄像机对单摄像机内参矩阵、畸变系数矩阵和双摄像机的外参矩阵进行标定，并通过标定参数实现左右视图极线校正；步骤2.立体匹配对极线校正后的左右视图图像进行同名点匹配，得到左右视图的视差图，再根据视差图和步骤1中标定得到的双摄像机外参矩阵得到深度图；步骤3.深度图滤波通过双边滤波方式对初始深度图进行预处理，滤除空间离群点，平滑深度图中由匹配误差引入的深度不连续区域；步骤4.左右相机坐标系深度图转换将左相机坐标系下的深度图转换至右相机坐标系下，并建立左右图像素点对应关系；通过相机标定过程中获取的相机外参、内参，以及立体匹配中获取的同名点对应关系，建立左右相机深度图对应关系如下所示：其中(i,j)为图像坐标，[r31 r32 r33]为左右相机标定的外参旋转矩阵末行参数，(ux,uy)为左相机主点，(fx,fy)为左相机焦距，zL(i,j)为左图的深度信息，zR(i,j)为右图对应点的深度信息，上标T表示向量转置；步骤5.初始法向量计算在平滑后的深度图基础上，通过法向量计算准则，分别求取左右图的初始法向量信息；步骤6.深度图优化相机成像单元的感光强度与环境光光强、光源方向与物体表面法向量夹角、物体表面反射率等参数有关，以上参数统称为相机成像光度学模型参数；由于左右相机存在视差，双相机成像光度学模型的参数存在差异；利用该差异信息，增加深度图优化的约束条件；在自然光照环境下，光照函数可通过一组正交球谐波函数基表示；为构造合理的深度图优化代价函数，将环境光照简化为一阶球谐波函数表示；因此在优化深度图前需计算的相机成像光度学模型参数包括左右图球谐波系数、反射率、过拟合惩罚项；最后，联合左右图参数构建深度图优化代价函数，获得具有精细表面的深度图。