[发明专利]挖掘机智能控制方法、装置、设备、存储介质和挖掘机

说明书

本申请公开了一种挖掘机智能控制方法、装置、设备、存储介质及挖掘机，涉及人工智能、挖掘机、计算机视觉等技术领域。该挖掘机智能控制方法包括：获取双目相机拍摄的作业区域图像，所述作业区域图像包括二维图像以及与所述二维图像对应的深度图；对所述二维图像进行图像语义识别，如果图像语义识别的结果为所述二维图像中存在石块，则对所述二维图像进行图像实例分割，以将所述二维图像中符合预定条件的石块进行标记；基于所述符合预定条件的石块的标记、所述二维图像对应的深度图数据以及所述双目相机的标定参数，计算所述符合预定条件的石块的空间位置；根据所述符合预定条件的石块的空间位置，确定所述挖掘机的作业方式。

技术领域

本申请涉及人工智能、挖掘机、计算机视觉技术领域，具体涉及一种挖掘机智能控制方法、装置、设备、存储介质、计算机程序产品以及挖掘机。

背景技术

挖掘机在施工过程中主要承担挖掘土壤、岩石等作业，传统的挖掘机由操作人员驾驶并控制作业，还出现了可由操作人员远程控制作业的挖掘机。在确保施工过程安全的前提下，如何提高挖掘机的作业质量、降低作业耗时、降低部件损耗等，是操作人员关注的重要问题。

但是，由于施工现场的地形、地质等条件各异，而无论现场控制还是远程控制，全过程均依靠人工判断，在遇到特殊情况例如前方岩石尺寸较大时，如果人工判断失误继续强行挖掘，容易造成挖掘机部件损坏、液压杆崩断等情况，不仅耗时耗力，造成成本升高，还存在较大的安全隐患。

发明内容

本申请提供一种挖掘机智能控制方法、装置、设备、存储介质、计算机程序产品以及挖掘机，用于解决以上至少一个问题。

根据本申请的第一方面，提供了一种挖掘机智能控制方法，包括：

获取双目相机拍摄的作业区域图像，该作业区域图像包括二维图像以及与该二维图像对应的深度图；

对该二维图像进行图像语义识别，如果图像语义识别的结果为该二维图像中存在石块，则对该二维图像进行图像实例分割，以将该二维图像中符合预定条件的石块进行标记；

基于该符合预定条件的石块的标记、该二维图像对应的深度图数据以及该双目相机的标定参数，计算该符合预定条件的石块的空间位置；

根据该符合预定条件的石块的空间位置，确定该挖掘机的作业方式。

根据本申请的第二方面，提供了一种挖掘机智能控制装置，包括：

图像获取模块，用于获取双目相机拍摄的作业区域图像，该作业区域图像包括二维图像以及与该二维图像对应的深度图；

图像语义识别模块，用于对该二维图像进行图像语义识别，

图像实例分割模块，用于在图像语义识别的结果为该二维图像中存在石块的情况下，对该二维图像进行图像实例分割，以将该二维图像中符合预定条件的石块进行标记；

计算模块，用于基于该符合预定条件的石块的标记、该二维图像对应的深度图数据以及该双目相机的标定参数，计算该符合预定条件的石块的空间位置；

确定模块，用于根据该符合预定条件的石块的空间位置，确定该挖掘机的作业方式。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上所述的方法。