[发明专利]装载位置三维坐标获取方法、系统及图像识别设备

说明书

本发明提供了一种装载位置三维坐标获取方法、系统及图像识别设备，涉及图像识别技术领域，通过摄像头获取装载位置所在场景的RGB图像和深度图像，RGB图像和深度图像相互配准；利用深度学习模型对RGB图像进行处理，得到装载位置的候选区域；从候选区域中筛选出包含装载位置的目标区域，并从目标区域中提取装载位置的图像坐标；根据图像坐标、深度图像以及摄像头参数得到装载位置的三维坐标。本发明可以实时获取装载位置所在场景的图像，并识别装载位置在图像中的坐标，从而得到装载位置的三维坐标，不受挖掘机和装载车之间的位置限制，识别准确度较高，并且可以提高工作效率。

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种装载位置三维坐标获取方法、系统及图像识别设备。

背景技术

在挖掘机工作过程中，在挖掘机铲起目标物料后，根据识别到的装载车车斗的三维坐标，结合该坐标及铲斗当前位置生成轨迹，然后通过反馈控制将物料准确放入到装载车车斗中。

在传统工程机械领域，可以在装载位置和挖掘机位置整体固定不变时，依靠两者间固定的空间关系完成装载位置的三维坐标获取。但是存在以下缺点：需要挖掘机和装载车的位置固定不变，实际应用场景有限；存在误差积累现象，识别不准确，将最终导致控制失效；需要在工作一段时间后进行误差纠正，从而导致工作效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种装载位置三维坐标获取方法、系统及图像识别设备，以缓解现有的装载位置识别方法存在的应用场景有限、识别不准确以及工作效率较低的技术问题。

第一方面，本发明实施例提供了一种装载位置三维坐标获取方法，包括：

通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；

利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域；

从所述候选区域中筛选出包含所述装载位置的目标区域，并从所述目标区域中提取所述装载位置的图像坐标；

根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域的步骤，包括：

将所述RGB图像输入特征提取网络，得到所述RGB图像的特征图；

将所述特征图输入候选区域生成网络，生成多个候选矩形区域；

根据多个所述候选矩形区域对所述特征图进行兴趣区域池化处理，得到多个尺寸相同的特征图；

通过分类回归网络对多个所述尺寸相同的特征图进行分类，得到每个所述候选矩形区域的类别信息，并获取所述候选矩形区域的位置姿态信息；

根据所述类别信息选择所述装载位置的候选区域，同时得到所述候选区域的位置姿态信息。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标的步骤，包括：

从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标；

根据所述摄像头参数将所述摄像头坐标系转换为世界坐标系，得到世界坐标系下的三维坐标。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标的步骤，包括：

从所述深度图像中获取深度值，并将所述深度值作为Z坐标；其中，所述深度值为以所述图像坐标为中心的预设尺寸的矩形范围内的平均值。