[发明专利]基于计算机视觉的地面三维平面重建方法

权利要求书

1.一种基于计算机视觉的地面三维平面重建方法，其特征在于：所述方法通过以下步骤实现：

步骤一、双目相机标定过程；

步骤二、稠密稳定匹配点对的生成过程：

在双目相机左图和双目相机右图构成的双目图像中，对地面中的匹配点对进行随机一致采样操作，实现三维平面的拟合过程；其中，双目相机左图是指双目相机与左眼对应的相机抓取到的图像数据，双目相机右图是指双目相机与右眼相对应的相机抓取到的图像数据；利用地面中的匹配点对，生成双目相机左图和双目相机右图之间的单应变换，为地面中的任一线段重建三维信息提供额外的辅助；并在随机一致采样建立平面方程后，拉升平面方程，之后再投影线段；

步骤二所述的稠密稳定匹配点对的生成过程具体为，

首先，采用具有深度卷积神经网络思想的深度卷积匹配在双目图像中匹配特征点，自底向上采用最大池化、下采样、聚集的步骤计算不同大小块的响应相似度，构建金字塔响应图；然后，逆向搜索响应图极值点计算出分辨率为4*4的正方形块的匹配得分，保留高得分的匹配，从而获取一系列分布均匀的稳定匹配点对；其中，保留高得分的匹配是指，对于在区间[0,1]内的匹配得分的值，将匹配得分的值在0.5以上的作为高得分，反之为低得分；

步骤三、基于极线搜索进行金字塔块匹配过程：

使用基础矩阵计算双目相机左图中的一点在双目相机右图中的极线搜索对应的匹配点对，利用归一化互相关作为衡量块之间的相似度，进行金字塔块匹配得到车辆或植被的包围盒匹配信息的操作，以用于测量车辆和植被的高度；

步骤三所述的基于极线搜索的金字塔块匹配过程具体为，

首先，在双目左图中由深度学习SSD模型检测得出车辆以及植被的包围盒，作为矩形框，再在双目右图中，利用极线搜索匹配检测框；

然后，采用归一化互相关作为衡量，在双目右图中找到和左图对应的位置，进行匹配；由对极几何可知，双目左图任一点在双目右图上的匹配点在一条极线上，通过基础矩阵计算处极线方程：l＝Fx；

其中，F表示3*3基础矩阵，x表示检测物体包围盒中心在双目左图上的齐次坐标，l是直线方程的系数；

最后，在直线方程l上通过自适应匹配计算出的搜索范围[X_min,X_max]，通过归一化互相关系数计算相似度，将相似度最高的位置作为匹配位置，以获取双目相机左图中车辆或植被包围盒中心在双目相机右图中的匹配点对；

步骤四、三角化过程：

利用步骤一的双目相机标定过程得到的参数信息，以及步骤三得到的车辆或植被的包围盒匹配信息，采用三角化技术计算出车辆和植被包围盒的三维坐标，结合步骤二得到的平面方程即得到车辆和植被高度值，通过拉升平面并投影的方式观察得到输电线路具体高度，设置预警阈值；

步骤四所述的三角化过程具体为，

步骤四一、利用步骤二计算出的稳定匹配点对以及步骤三计算出的车辆或植被包围盒中心的匹配点对，采用步骤一标定出的相机参数通过公式：进行三角化过程，构建匹配点在双目相机的左相机下的三维坐标X1；其中，s₁表示场景中一点到左相机的深度，s₂表示场景中一点到右相机的深度，X₁表示场景中的点在左相机坐标系下的坐标，X₂表示场景中的点在右相机坐标系下的坐标，R表示右相机相对于左相机的旋转变换矩阵，t表示右相机相对于左相机的平移变换矩阵，表示左相机内参数矩阵的逆矩阵，表示由相机内参数矩阵的逆矩阵；

步骤四二、计算步骤二中出现的不匹配的特征点的3*3单应矩阵H，筛选出位于同一个平面的特征点对，对筛选出位于同一平面的匹配点对构建出多个左相机下三维坐标，采用随机一致采样法拟合出三维平面方程：

AX+BY+CZ+D＝0，C＜0；

再沿法线方向将平面的高度升高至TH，得到如下的新的平面方程：

对于三维平面AX+BY+CZ+D＝0，C＜0中的任一线段线段pq，通过单应关系计算出线段端点p以及q的匹配点所对应的匹配点，从而三角化出它的三角坐标，然后依据下面的公式计算出它们在升高后的平面C＜0中的三维坐标T_p和T_q：

其中，A表示地面三维平面方程的法向量在X方向分量的值，B表示地面三维平面方程的法向量在Y方向分量的值，C表示地面三维平面方程的法向量在X方向分量的值，地面三维平面方程依据右手定则建立XYZ三维坐标系；(x,y,z)为在原始地面中的三维坐标，(x′,y′,z′)为在升高平面之后的三维坐标；

最后，通过opencv中的projectPoints函数投影三维线段的端点得到其在图像中的二维坐标，并人工辅助设定高度阈值H_λ；

步骤四三、首先，对步骤三中搜索到的包围盒匹配点对进行三角化计算，得出三维坐标(x_o,y_o,z_o)，然后，根据点到平面的距离公式计算出包围盒中心点距地面的高度，最后，依据高度阈值进行报警：