[发明专利]一种双目测距及三维重建方法

权利要求书

1.一种双目测距及三维重建方法，其特征在于：包括以下步骤：

步骤1:左右相机分别进行单目相机扭曲畸形参数、位移参数和焦距像素比值参数的标定，标定使用棋盘格进行,用图像处理手段检测出棋盘格的内部角点在图像上的位置，并根据已知的真实棋盘格尺寸,根据多组图像上角点位置和真实3D空间的坐标，建立多个方程式：

其中，为图像上角点的齐次坐标，为3D空间的齐次坐标，A为内参矩阵，[R|t]为外参矩；

已知多组方程的前提下，利用最小二乘法对内参进行最大似然估计，得到内参后，利用标定的结果分别对左右相机图像进行校正；

步骤2：利用左右相机同时对一个棋盘格标定板进行拍摄的图像进行双目标定，求解两个相机间位置关系的矩阵——本质矩阵E，以及两个相机所成图像间像素对应关系矩阵——基本矩阵F；求解使用RANSAC算法，具体步骤为：①随机抽出4个不共线的样本，用最小二乘法计算出基本矩阵；②计算所有样本在模型下的误差，如果误差小于阈值，则加入内点集；③如果内点集个数大于I_best，则更新最优模型与I_best；④进入下一次迭代，在迭代次数大于阈值后退出；

步骤3：分别求出将左右相机的图像投影到同一平面的外参:左相机旋转矩阵R₁、平移向量T₁和右相机旋转矩阵R₂、平移向量T₂，计算方式同步骤1，并计算两个相机的相互之间的旋转和平移向量，计算的公式为

T＝T₁-RT₂

将两个相机成像投影到同一个平面，并保证对应点在同一水平线上；

步骤4：用SURF算法进行两张图片特征点的提取，具体做法为，对不同尺度的高斯模糊后的图像求Hessian矩阵，表达式为

其中，L为二阶导数运算符，x，y为求二阶导数方向，σ为高斯模糊的尺度，x为图像点坐标，H为Hessian矩阵计算的结果；

步骤5：当Hessian矩阵的值取得局部极大值时，选定为待定的特征点，最后过滤掉能量较弱的特征点，即为结果；

使用SGBM算法，用最小代价对两张图片的特征点进行匹配，即能量方程最小，求出左右相机的视差图，能量方程的计算公式为

其中，E(D)为能量，D为一个disparity map，T表示括号里的等式为真，即为1，否则为0，p、q分别代表一个像素，C为cost，N_p为p的邻域，即人为选择的某个尺寸的滑动窗口里的像素，P1，P2为惩罚系数；

步骤6：首先，得到Q矩阵为

其参数已由前面的单目和双目标定得到，其中cx、cy为立体标定后左相机的主点，cx’为右相机的主点，在双目标定完成后，有cx’与cx相同，f为相机焦距，均在内参矩阵A中，Tx为相机基线距离在外参平移矩阵T中；然后根据公式

可以利用视差图和Q矩阵求出深度图及图像中点的三维坐标；其中，x、y为深度图中点的横、纵坐标，d为深度信息，X、Y、Z为三维空间缩放后的坐标，W为三维空间坐标的缩放系数；

步骤7：得到三维点坐标后，便可以1)生成三维重建点云模型，2)求出待测量距离。