[发明专利]一种基于视觉信息融合的机械臂抓取目标物体方法

说明书

本发明提出一种基于视觉信息融合的机械臂抓取目标物体方法，旨在解决目标物体位于复杂环境的机械臂抓取问题。所述方法包括：通过置于机械臂末端上方的深度相机获取含有目标物体的彩色图像以及相机坐标下的图像深度信息；利用深度学习YOLO目标检测方法对彩色图像中的目标物体进行识别并定位出特征点像素坐标；利用所述彩色图像的特征点像素坐标融合所述的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；由目标物体特征点在相机坐标系下的三维坐标计算出目标物体在相机坐标系下的三维位置和三维位姿；将三维位置和三维位姿转换至机械臂基座坐标系下；利用与机械臂连接的二指夹爪对目标物体进行抓取。

技术领域

本发明涉及机器人技术领域，具体涉及一种在背景复杂的情况下基于视觉信息融合的机械臂抓取目标物体的方法。

背景技术

随着人工智能技术的发展，机器人的应用领域不断拓展，而不管是工业领域还是家庭服务领域，机器人与真实世界的互动必不可少，而抓取，则是机器人与真实世界互动的基本技能。模仿人类手臂活动关节的多自由度机械臂与二指夹爪的组合常用于实现在各种环境下的抓取，由于真实世界的复杂多样，抓取任务具有很大的不确定性，提高机器臂在复杂环境的目标检测及抓取规划能力成为了目前机器人领域研究的热点。

目前深度学习方法得到了越来越广泛的应用，是二维图像目标识别目标检测的主要方法，在近年来也出现了利用深度学习方法完成机械臂抓取中的三维目标物体的识别任务，例如Nvidia发布的《Deep Object Pose Estimation for Semantic Robotic Graspingof Household Objects》，其原理则是利用深度学习方法先检测出目标点的二维坐标，再利用PnP算法，实现目标点二维坐标至三维坐标的转换以及目标物体的位姿估计，但是PnP算法在现实应用中会出现误差，即当二维坐标的估计存在正常范围内的误差时，PnP算法会放大误差，得出误差较大的三维坐标，以致无法成功抓取的问题，所以本文所述方法将图像深度信息和目标点二维坐标信息融合，丰富目标三维坐标的信息，用以计算出准确的目标物体三维位置以及三维位姿，实现准确的抓取。

发明内容

本发明提出一种基于视觉信息融合的机械臂抓取目标物体的方法，主要用于机械臂在复杂环境下的目标识别和抓取，能够使机械臂在复杂环境下实现快速稳定的目标物体三维位置和三维位姿的识别检测以实现机械臂抓取。

本发明包括以下主要步骤：

(1)通过置于机械臂末端上方的相机获取含有目标物体的RGB图像以及相机坐标系下的图像深度信息；

(2)基于所述RGB图像，利用深度学习方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；

(3)基于所述包围目标物体的三维矩形框的各点像素坐标，融合相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；

(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；

(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；

(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。

可选地，步骤(1)中所述的相机为RGB-D相机，固定在所述机械臂末端，随机械臂运动而运动。

可选地，步骤(2)中所述的深度学习方法是以包围目标物体的三维矩形框八个角点以及一个中心点的图像坐标和目标物体类别为训练标签，训练YOLO目标检测网络，来获取可以检测目标物体的深度学习网络。