[发明专利]一种基于光度视差的双目深度获取方法

权利要求书

1.一种基于光度视差的双目深度获取方法，其特征在于，包括以下步骤：

步骤1.标定双目摄像机

对单摄像机内参矩阵、畸变系数矩阵和双摄像机的外参矩阵进行标定，并通过标定参数实现左右视图极线校正；

步骤2.立体匹配

对极线校正后的左右视图图像进行同名点匹配，得到左右视图的视差图，再根据视差图和步骤1中标定得到的双摄像机外参矩阵得到深度图；

步骤3.深度图滤波

通过双边滤波方式对初始深度图进行预处理，滤除空间离群点，平滑深度图中由匹配误差引入的深度不连续区域；

步骤4.左右相机坐标系深度图转换

将左相机坐标系下的深度图转换至右相机坐标系下，并建立左右图像素点对应关系；

通过相机标定过程中获取的相机外参、内参，以及立体匹配中获取的同名点对应关系，建立左右相机深度图对应关系如下所示：

其中(i，j)为图像坐标，[r₃₁ r₃₂ r₃₃]为左右相机标定的外参旋转矩阵末行参数，(u_x，u_y)为左相机主点，(f_x，f_y)为左相机焦距，z_L(i，j)为左图的深度信息，z_R(i，j)为右图对应点的深度信息，上标T表示向量转置；

步骤5.初始法向量计算

在平滑后的深度图基础上，通过法向量计算准则，分别求取左右图的初始法向量信息；

步骤6.深度图优化

相机成像单元的感光强度与环境光光强、光源方向与物体表面法向量夹角、物体表面反射率有关，以上参数统称为相机成像光度学模型参数；由于左右相机存在视差，双相机成像光度学模型的参数存在差异；利用该差异信息，增加深度图优化的约束条件；在自然光照环境下，光照函数可通过一组正交球谐波函数基表示；为构造合理的深度图优化代价函数，将环境光照简化为一阶球谐波函数表示；因此在优化深度图前需计算的相机成像光度学模型参数包括左右图球谐波系数、反射率、过拟合惩罚项；最后，联合左右图参数构建深度图优化代价函数，获得具有精细表面的深度图。

2.根据权利要求1所述的基于光度视差的双目深度获取方法，其特征在于，步骤6中左右图球谐波系数计算方法如下：

物体表面入射光强与图像灰度信息的关系可表示为：

其中I(i，j)为图像灰度信息，a(i，j)为物体反射率，为入射光光强分布函数，b(i，j)为过拟合惩罚项，为物体表面初始法向量；

在自然光照条件下，入射光光强分布函数可简化为一阶球谐波函数：

其中为一阶球谐波函数系数，上标T表示向量转置；

为简化计算方法，首先假设物体表面反射率相同，且无过拟合惩罚项，令a(i，j)为固定值1，b(i，j)为固定值0，最小化公式(4)求解该光照条件下一阶球谐波函数系数