[发明专利]一种基于双目视觉的实时土方量计算方法

权利要求书

1.一种基于双目视觉的实时土方量计算方法，其特征在于，包括：

获取相机坐标系相对于世界坐标系的旋转矩阵R1和平移矩阵T1；

基于由双目相机拍摄的挖掘机铲斗图片，识别出挖掘机铲斗边框范围内区域；

针对所述挖掘机铲斗边框范围内区域，计算出挖掘机铲斗边缘的在世界坐标系下的三维坐标，将每条边上的点进行直线和平面拟合得到一个矩形平面，并建立铲斗坐标系；

计算出铲斗坐标系相对于世界坐标系的旋转矩阵R2和平移矩阵T2；

计算出挖掘机铲斗图片中像素点到相机坐标系下的三维坐标，进而利用坐标转换公式、R1和平移矩阵T1，计算出该像素点在世界坐标系下的三维坐标，获得铲斗内土方表面每一点的世界坐标，再基于所述旋转矩阵R2和平移矩阵T2，计算出每个点在铲斗坐标系下的三维坐标；

利用每个点的三维坐标，建立深度图；

基于所述深度图，得到每次挖掘机铲斗内土方的总体积；

累计计算挖掘机铲斗每次挖掘的土方体积，得到挖掘机的实时工作量。

2.根据权利要求1所述的一种基于双目视觉的实时土方量计算方法，其特征在于，所述挖掘机铲斗边框范围内区域的识别方法为：

将由双目相机拍摄的挖掘机铲斗图片输入至预先训练好的YOLOV3检测模型；

所述YOLOV3检测模型输出挖掘机铲斗边框范围内区域。

3.根据权利要求2所述的一种基于双目视觉的实时土方量计算方法，其特征在于，所述YOLOV3检测模型通过以下步骤训练获得：

拍摄若干张挖掘机铲斗图片，并用labelme对图片中的铲斗做标注；

利用标注过的图片训练YOLOV3网络，获得YOLOV3检测模型。

4.根据权利要求1所述的一种基于双目视觉的实时土方量计算方法，其特征在于：所述像素点到相机坐标系下的三维坐标的计算方法为：

基于视差图和相机内参，计算出像素点到相机坐标系下的三维坐标。

5.根据权利要求1所述的一种基于双目视觉的实时土方量计算方法，其特征在于：每个点在铲斗坐标系下的三维坐标计算公式为：

x＝X_w*R2+T2

y＝Y_w*R2+T2

z＝Z_w*R2+T2

其中，X_w,Y_w,Z_w为铲斗内土方表面每一点的世界坐标。

6.根据权利要求1所述的一种基于双目视觉的实时土方量计算方法，其特征在于：所述每次挖掘机铲斗内土方的总体积的计算方法包括：

设置一个m*m的滑动窗口，令该滑动窗口从铲斗坐标系的原点O开始依次遍历整个深度图；

在滑动窗口遍历深度图时，每个位置对应一个棱柱；

将滑动窗口四个顶点在铲斗坐标系下的Z坐标求平均值作为每个棱柱的高；

基于公式V_i＝S_i*z＝m*m*z_c，近似求出每个棱柱的体积V_i；

将所有棱柱进行积分得到体积V1；

在将V1加上铲斗的内体积V2得到每次挖掘机铲斗内土方的总体积Vi。

7.根据权利要求6所述的一种基于双目视觉的实时土方量计算方法，其特征在于：所述Z坐标求平均值的计算公式为：

其中，z_ci为第i个顶点的Z坐标，z_c为铲斗坐标系下的Z坐标求平均值。

8.根据权利要求6所述的一种基于双目视觉的实时土方量计算方法，其特征在于：所述挖掘机的实时工作量的计算公式为：

V_总＝k*Vi

其中，V_总为挖掘机的实时工作量，k为误差修正系数。

9.根据权利要求8所述的一种基于双目视觉的实时土方量计算方法，其特征在于：所述误差修正系数k通过多次进行误差测量获得。