[发明专利]基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法

权利要求书

1.基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，包括：

识别检测单元，所述识别检测单元用于在线识别以及检测铲斗的工作姿态，采集挖掘数据及挖掘机的作业环境，建立铲斗的实时空间模型；

采集单元，所述采集单元用于采集倾角信息和油缸压力信息；

可编程控制器(10)，所述可编程控制器(10)分别与识别检测单元和采集单元连接，可编程控制器(10)制定挖掘策略和路径规划，向各个油缸电液控制阀发送控制信号，控制铲斗、斗杆和动臂的动作。

2.根据权利要求1所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述识别检测单元包括安装在挖掘机驾驶舱上方的激光雷达(1)和单目相机(2)。

3.根据权利要求2所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述激光雷达(1)安装在挖掘机驾驶舱的左侧，向下偏转30°，单目相机(2)水平安装在挖掘机驾驶舱的右侧。

4.根据权利要求1所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述采集单元包括倾角传感器和油缸压力传感器；

所述倾角传感器分别安装在铲斗、斗杆和动臂上，用于对应采集工作情况下铲斗、斗杆和动臂的倾角信息；所述油缸压力传感器分别安装在铲斗油缸、斗杆油缸和动臂油缸底部，用于对应采集工作状态下铲斗油缸、斗杆油缸、动臂油缸的压力信息。

5.根据权利要求1所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述可编程控制器(10)安装在驾驶舱后面的控制柜里，用于接受各个传感器的信号和向各个油缸电液控制阀发送控制信号。

6.一种采用权利要求1-5任一项所述挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，包括以下步骤：

S1、单目相机(2)采集铲斗图像二维信息，然后识别挖机的铲斗信息，并对挖掘机铲斗的信息点进行框选，铲斗图像信息的像素点集合，接着对所有框选二维图像的像素坐标转换成三维坐标集合；

激光雷达(1)采集到所有的三维点云信息经过点云的预处理，区分铲斗的点云信息，接着按照动臂、斗杆和铲斗的三个倾角传感器传来的角度值进行铲斗建模，获取准确的铲斗点云框选信息；

S2、将三维实际点云框选和三维转换点云框选进行匹配，将匹配成功的三维实际点云框选与二维图像检测的铲斗信息进行融合，进而获得既有三维点云信息又有二维图像信息的铲斗数据；

S3、最终根据融合构造得到新型铲斗数据。

7.根据权利要求6所述的一种采用挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，所述单目相机(2)和激光雷达(1)通过标定后将两种模态的数据转换到统一坐标系下，进行融合定位建图与感知，所述标定过程包括内参标定和外参标定。

8.根据权利要求7所述的一种采用挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，所述内参标定用于确定三维和二维之间图像的投影关系，外参标定用于确定单目相机(2)在世界坐标系中的位置。

9.根据权利要求6所述的一种采用挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，所述点云的预处理是指滤除地面、滤波、降采样和离群点去除。

10.一种挖掘机，其特征在于，所述挖掘机上安装有权利要求1-5任一项所述的挖掘机铲斗自主挖掘识别控制系统。