[发明专利]一种基于多目视觉的双臂机器人手眼协调方法

说明书

本发明公开了一种基于多目视觉的双臂机器人手眼协调方法，属于机器人视觉领域，利用两个多目摄像头进行目标定位，选取离目标物体较近的机械臂进行抓取，并同时进行对目标物体的重新定位，从而将目标物体抓取送至固定区域。本发明的基于多目视觉的双臂机器人手眼协调方法，解决了现有方案中双目摄像头中仅有单个摄像头拍摄到物体，无法实现双目测距定位的问题，提高了机械臂抓取目标物体的精度。

技术领域

本发明涉及机器人视觉领域，具体涉及一种基于多目视觉的双臂机器人手眼协调方法。

背景技术

计算机视觉是指用摄像头代替人眼对目标进行识别、跟踪和测量，作为目前最为前沿的研究热点，基于计算机视觉的机器人技术被广泛应用于机器人控制领域。双目立体视觉是利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。视觉能为机器人提供丰富的环境和目标信息，为机器人的判断决策提供依据。

在实际操作过程中，采用平行固定双目立体视觉的测距以及机械手的抓取存在各种各样的问题，其中常见的情况有目标物体被遮挡或者其存在于视野之外导致拍摄不到或不全，而无法准确定位和抓取。如在专利“双目测距方法、装置和全景图像拼接方法及其系统”中，其详细地介绍了双目测距的原理。但是在实际的测距过程中，往往存在对目标物体捕捉的视觉盲区问题，即双目摄像头不能同时捕捉到目标物体，从而机械臂抓取失败。

发明内容

本发明提出了一种基于多目视觉的双臂机器人手眼协调方法。

实现本发明的技术解决方案为：一种基于多目视觉的双臂机器人手眼协调方法，具体步骤为：

步骤1、将两个双目摄像头分别安装至双臂机器人的机械臂上，并分别标定出摄像头到装有该摄像头的机械臂末端的转移矩阵、机械手臂末端到该基座的变换矩阵以及两个机械臂基座之间的变换矩阵；

步骤2、控制机械臂移动，通过双目摄像头搜寻目标物体，并保存目标物体的特征，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻；

步骤3、上位机提取并处理扫描终止时具有目标特征的两幅图像，获得目标物体的三维坐标信息，完成对目标物体的定位；

步骤4、基于目标物体的三维信息，控制机械臂进行抓取，完成对目标物体的抓取；

步骤5、将目标物体移至固定区域，机械臂返回初始状态，完成抓取任务。

本发明与现有技术相比，其显著优点为：

本发明采用两个多目摄像头进行拍摄，能够解决现有的双目摄像头以及单目摄像头的视觉盲区问题，大大提高摄像头成功捕捉目标的几率，而且在机械臂抓取的过程中，双目摄像头还对目标进行实时拍摄，不断获取目标的位置，持续更新目标的三维坐标，同时也相应的提高了机械臂抓取的精度。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为本发明的二维坐标转换示意图。

图2为本发明图像坐标系与灰度坐标系的转换示意图。

图3为本发明摄像机坐标系、世界坐标系、图像坐标系的关系示意图。

图4为本发明目标物体定位示意图。

图5为本发明一实施例的流程图。

具体实施方式

一种基于多目视觉的双臂机器人手眼协调方法，具体步骤为：

步骤1、将两个双目摄像头分别安装至双臂机器人的机械臂上，并分别标定出摄像头到装有该摄像头的机械臂末端的转移矩阵、机械手臂末端到该基座的变换矩阵以及两个机械臂基座之间的变换矩阵；