[发明专利]基于点云获取和处理的抓取训练方法及系统

说明书

本申请实施例公开一种基于点云获取和处理的抓取训练方法及系统。所述系统包括相机、机械手、机械臂、机械臂基座和主控制计算机。所述方法包括：A1、将从相机得到的点云信息输入至第一部分神经网络，以获得实物场景内目标物体的位姿信息；A2、将所述位姿信息输入至所述第二部分神经网络，以生成相对于相机光轴坐标系的第一抓手位姿信息；A3、将所述第一抓手位姿信息变换成相对于机械臂基座坐标系的第二抓手位姿信息；A4、根据所述第二抓手位姿信息控制机械臂和机械手抓取目标物体；A5、获取反映抓取效果的指定指标。本申请实施例可以观察实物抓取效果，为算法的质量提供反馈，这不仅大幅提升了算法训练的效率，也在一定程度上提升了算法的实用性。

技术领域

本申请涉及机器人技术领域，特别涉及一种基于点云获取和处理的抓取训练方法及系统。

背景技术

随着人工智能与硬件设备的飞速发展，大大的推进了工业化进程与机器人科学的发展。机器人的抓取功能是机器人最基本的功能，用来在任务中执行诸如分拣、拾取等基本的任务操作。在工业生产环境或者物流分拣任务下，机器人抓取应用十分常见。但是在很多情况下，需要完成抓取的物体场景比较复杂，比如包含多种物体并存在堆叠现象，加之机器人事先对该环境并没有先验认知，这就导致机械手真正完成抓取任务时会遇到较大的阻碍。

为此，目前较为流行的解决办法是采用机器学习的理念，利用基于模型的已知信息对系统进行训练，最终使系统可以从视觉的原始输入中直接做出抓取决策。目前常用的训练方案包括利用RGB双目图像信息作为原始输入产生抓取策略，或者限制输入场景的复杂度以保证识别的准确性，又或者将整个抓取系统中各个部分分割开来处理，不能形成一套通用完整的训练体系。利用RGB双目信息的训练系统会受到诸如光强、照度等问题的制约，且处理起来较为繁琐；而通过限制场景复杂程度虽然能较显著的提升抓取的可靠性，但是在实际应用时会受到多物体堆叠的干扰，从而无法保证达到与训练时相同的良好效果；把各个设备割裂开来分别予以处理，则无法成为体系，难以进行推广和应用。

在机器人抓取中的一个关键问题就是视觉输入问题。当前机器人从环境中获取信息最为高效的方式即为视觉。现有的抓取技术在原始视觉信息的获取上往往有两种选择：一是使用RGB双目相机获取场景3D信息，二是使用基于TOF(Time of Flight)光行时间原理获得的点云信息。

通过RGB双目相机如Point Grey公司推出的BumbleBee系列相机，获得场景的RGB-D信息，进而使用可以处理RGB-D图像的机器学习算法得到场景内的物体特征。双目视觉的原理比较简单，主要是将左右两个相机获得图像数据进行整合，可以用图1来表示。其中基线距B为两摄像机的投影中心连线的距离，相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为P_left(X_left,Y_left)，P_right(X_right,Y_right)。

现由于两摄像机的焦距相同，则对同一个点所成的像会落在同一个平面上，因此特征点P的在两幅图像内的坐标Y坐标相同，即Y_left＝Y_right＝Y。根据图6中的三角几何关系进行计算和整理可以得到如下结论：

经过以上运算，可以从两幅图像中获得场景点在相机坐标系(左相机)内的坐标值，只要逐点计算便可得到整个场景内点的三维坐标。