[发明专利]一种基于双目视觉的实时土方量计算方法

说明书

本发明公开了一种基于双目视觉的实时土方量计算方法，包括获取相机坐标系相对于世界坐标系的旋转矩阵R1和平移矩阵T1；基于挖掘机铲斗图片识别出挖掘机铲斗边框范围内区域；针对挖掘机铲斗边框范围内区域，建立铲斗坐标系；计算出铲斗坐标系相对于世界坐标系的旋转矩阵R2和平移矩阵T2；计算出挖掘机铲斗图片中像素点在世界坐标系下的三维坐标，获得铲斗内土方表面每一点的世界坐标，计算出每个点在铲斗坐标系下的三维坐标；建立深度图；基于深度图得到单次挖掘机铲斗内土方的总体积，进而得到挖掘机的实时工作量。本发明能够实时的对挖掘机铲斗内土方进行测量，然后计算出挖掘机工作量，减少了人力成本，也方便于工程费用结算和工程方案选优。

技术领域

本发明属于挖掘机技术领域，具体涉及一种基于双目视觉的实时土方量计算方法。

背景技术

挖掘机是目前工程中广泛使用的一种机械。在工程作业中，需要对挖掘机工作量的多少进行测量和记录，关系到工程费用结算和工程方案选优。目前对于不规则土方的测量是比较困难的，而且大多土方测量需要人工测量，没有一种基于视觉的智能化方式对挖掘机工作量进行实时测量计算。

发明内容

针对上述问题，本发明提出一种基于双目视觉的实时土方量计算方法，能够实时的对挖掘机铲斗内土方进行测量，然后计算出挖掘机工作量，减少了人力成本，也方便于工程费用结算和工程方案选优。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于双目视觉的实时土方量计算方法，包括：

获取相机坐标系相对于世界坐标系的旋转矩阵R1和平移矩阵T1；

基于由双目相机拍摄的挖掘机铲斗图片，识别出挖掘机铲斗边框范围内区域；

针对所述挖掘机铲斗边框范围内区域，计算出挖掘机铲斗边缘的在世界坐标系下的三维坐标，将每条边上的点进行直线和平面拟合得到一个矩形平面，并建立铲斗坐标系；

计算出铲斗坐标系相对于世界坐标系的旋转矩阵R2和平移矩阵T2；

计算出挖掘机铲斗图片中像素点到相机坐标系下的三维坐标，进而利用坐标转换公式、旋转矩阵R1和平移矩阵T1，计算出该像素点在世界坐标系下的三维坐标，获得铲斗内土方表面每一点的世界坐标，再基于所述旋转矩阵R2和平移矩阵T2，计算出每个点在铲斗坐标系下的三维坐标；

利用每个点的三维坐标，建立深度图；

基于所述深度图，得到每次挖掘机铲斗内土方的总体积；

累计计算挖掘机铲斗每次挖掘的土方体积，得到挖掘机的实时工作量。

作为本发明的进一步改进，所述挖掘机铲斗边框范围内区域的识别方法为：

将由双目相机拍摄的挖掘机铲斗图片输入至预先训练好的YOLOV3检测模型；

所述YOLOV3检测模型输出挖掘机铲斗边框范围内区域。

作为本发明的进一步改进，所述YOLOV3检测模型通过以下步骤训练获得：

拍摄若干张挖掘机铲斗图片，并用labelme对图片中的铲斗做标注；

利用标注过的图片训练YOLOV3网络，获得YOLOV3检测模型。

作为本发明的进一步改进，所述像素点到相机坐标系下的三维坐标的计算方法为：

基于所述视差图和相机内参，计算出像素点到相机坐标系下的三维坐标。

作为本发明的进一步改进，每个点在铲斗坐标系下的三维坐标计算公式为：

x＝X_w*R2+T2