[发明专利]一种基于深度相机的机械手抓取方法

说明书

本发明涉及一种基于深度相机的机械手抓取方法，主要包括以下几个方面：(1)通过YOLO‑V5识别出被抓取物体，获得其在RGB图像中的像素范围，将该范围映射到深度图中，得到与其对应深度图中的像素范围；(2)结合相机内参计算出深度图中像素范围内的点云数据，将该点云数据和离线阶段建立的模型数据库进行匹配得到初始位姿，通过迭代最近点算法对初始位姿进行修正；(3)将修正后的最终位姿结果转化后发给机器人控制系统，精确控制机器人实现抓取。本发明所提方法可以提高位姿估计精度，同时加快计算速度。

技术领域

本发明属于自动化技术领域，涉及一种基于深度相机的机械手抓取方法。

背景技术

机器人自主抓取技术使得机器人能够获取、移动和运输目标物体，在工业化环境中抓取的往往是固定位姿的目标物体，实现在非结构化环境中准确抓取是机器人智能化的关键技术之一。在非结构化环境中，机器人抓取系统主要分为三个部分：感知、位姿估计和控制，首先通过传感器获取到目标物体信息，再计算得到抓取位姿，最后控制机器人实现抓取。

相比较传统的相机而言，深度相机能够感知外部环境的深度信息，从而获取更多的外部物体信息，因此被广泛的应用于无人驾驶、三维重建、视觉SLAM等领域。利用深度相机获取到物体的图像信息和深度信息，通过计算得到目标物体位姿，实现在非结构化环境下的抓取，是抓取方法研究的一个重要方向。

发明内容

本发明针对使用点云数据估计目标物体位姿进行抓取时，存在的计算量过大及精度较低问题，提出了一种基于深度相机的机械手抓取方法。首先，通过YOLO-V5识别出被抓取物体，获得其在RGB图像中的像素范围，将该范围映射到深度图中，得到与其对应深度图中的像素范围。然后，通过结合相机内参计算出深度图中像素范围内的点云数据，将该点云数据和离线阶段建立的模型数据库进行匹配得到初始位姿，通过迭代最近点(IterativeClosest Point，ICP)算法对初始位姿进行修正。最后，将修正后的最终位姿结果转化后发给机器人控制系统，精确控制机器人实现抓取。

一种基于深度相机的机械手抓取方法，具体包括以下步骤：

步骤1、离线阶段建立目标物体的模型数据库。利用已知目标物体的3D模型获得点云数据和初始最佳抓取位姿T₀，将点云数据通过体素大小为V_size＝(w_v,h_v,d_v)的滤波器进行下采样，再提取点云数据的点对特征(Point Pair Feature，PPF)，将相似的PPF放在同一组并存入哈希表中，每一对PPF可以表示为：

F_m(p_m,p_n)＝(d_f,θ₁,θ₂,θ₃) (1)

其中，p_m和p_n是点云数据中的任意两个点，d_f是点p_m与点p_n之间的欧式距离，θ₁和θ₂分别为点p_m与点p_n法线和这两个点构成向量之间的夹角，θ₃为点p_m与点p_n法线之间的夹角。

步骤2、通过深度相机获取当前环境下的RGB图像数据和深度图像数据，采用YOLO-V5目标检测算法，检测当前环境中的目标物体，获得其在RGB图像中的像素范围：

Pixel_obj＝{(x_obj,y_obj)|(x_left,y_left)＜(x_obj,y_obj)＜(x_right,y_right)} (2)