[发明专利]基于视觉的机械臂控制方法、装置、系统和计算机设备

说明书

本申请涉及基于视觉的机械臂控制方法、装置、系统和计算机设备，包括：获取机械臂工作台上通过摄像装置采集得到的场景图像，且场景图像是在摄像装置的摄像镜头所在平面平行于机械臂工作台的情况下获取的；确定机械臂工作台上目标物体在场景图像中的像素坐标；获取摄像装置与机械臂工作台相对应的校准系数；根据目标物体在场景图像中的像素坐标和校准系数确定目标物体的二维坐标，并根据二维坐标和机械臂工作台的高度信息确定目标物体的三维坐标；根据目标物体的三维坐标控制机械臂移动，解决了相关技术中通过摄像机控制机械臂抓取目标物体，涉及到矩阵计算或三维重构目标物体存在数据处理方法复杂，计算量大，处理器性能要求较高的问题。

技术领域

本申请涉及工业机器人技术领域，特别是涉及基于视觉的机械臂控制方法、装置、系统和计算机设备。

背景技术

工业机器人技术领域在实现基于视觉的机械臂物体抓取的过程中，需要用摄像机采集目标物体图片、标定摄像机和机械臂之间的相对位置，计算目标物体的三维信息。

相关技术中，基于视觉的机械臂物体抓取主要有三种：第一种，摄像机和机械臂的位置固定，手眼关系标定，使用彩色相机结合深度相机的摄像机采集图片，计算目标物体在摄像机坐标系下的三维坐标，根据摄像机坐标系和机械臂坐标系之间的转换矩阵，计算出目标物体在机械臂坐标系下三维坐标；再控制机械臂进行抓取；第二种，摄像机和机械臂的位置固定，手眼关系标定，采用双目摄像机或多个摄像机采集物体的信息，对目标物体进行三维重构，得到目标物体的形状信息和三维坐标，最后控制机械臂进行抓取；第三种，摄像机和机械臂位置固定，手眼关系没有标定，利用雅可比矩阵，直接从图像上观察机器人抓手和目标物体的位置误差计算出为消除这个误差机器人手抓的期望运动。由于通过摄像机控制机械臂抓取目标物体，涉及到目标图像坐标系、机械臂坐标系和摄像机坐标系等三个坐标系，以上三种方法中，涉及到矩阵计算或三维重构目标物体，存在数据处理方法复杂，计算量大的问题。

目前针对相关技术中，通过摄像机控制机械臂抓取目标物体，涉及到矩阵计算或三维重构目标物体，存在数据处理方法复杂，计算量大，处理器性能要求较高的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了基于视觉的机械臂控制方法、装置、系统和计算机设备，以至少解决相关技术中通过摄像机控制机械臂抓取目标物体，涉及到矩阵计算或三维重构目标物体，存在数据处理方法复杂，计算量大，处理器性能要求较高的问题。

第一方面，本申请实施例提供了一种基于视觉的机械臂控制方法，所述方法包括：

获取机械臂工作台上的场景图像，其中，所述场景图像通过摄像装置采集得到，且所述场景图像是在所述摄像装置的摄像镜头所在平面平行于所述机械臂工作台的情况下获取的；

通过对所述场景图像进行目标检测，确定所述机械臂工作台上目标物体在所述场景图像中的像素坐标；

获取所述摄像装置与所述机械臂工作台相对应的校准系数；

根据所述目标物体在所述场景图像中的像素坐标和所述校准系数确定所述目标物体的二维坐标，并根据所述二维坐标和所述机械臂工作台的高度信息确定所述目标物体的三维坐标；

根据所述目标物体的三维坐标控制所述机械臂移动。

在其中一些实施例中，所述摄像装置安装于所述机械臂的端部，所述摄像装置的摄像镜头所在平面垂直于所述机械臂的延伸方向；获取机械臂工作台上的场景图像之前，所述方法还包括：

调整所述机械臂的姿态使得所述机械臂垂直于所述机械臂工作台。

在其中一些实施例中，所述目标物体包括待抓取物料；

根据所述目标物体的三维坐标控制所述机械臂移动包括：根据所述待抓取物料的三维坐标，控制所述机械臂移动至与所述待抓取物料对应的位置处并抓取所述待抓取物料。