[发明专利]用于抓取设备的控制方法、装置、存储介质及电子设备

说明书

本公开涉及一种用于抓取设备的控制方法、装置、存储介质及电子设备，以解决抓取设备抓取准确率低的问题。所述方法包括：根据目标物体的第一RGB图像，确定抓取设备的抓手的目标抓取姿态信息；在抓手处于目标抓取姿态信息对应的姿态后，获取设置在抓手上的图像采集设备采集到的目标物体的第二RGB图像；生成至少一个偏移信息，偏移信息包括抓手以目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量；针对每一偏移信息，将该偏移信息、第二RGB图像和目标物体蒙版图像输入至抓取成功率预测模型；根据对应于最大预测成功率的偏移信息，确定目标偏移信息，控制抓手按照目标偏移信息移动；在抓手移动到位后，控制抓手抓取目标物体。

技术领域

本公开涉及机器人及计算机领域，具体地，涉及一种用于抓取设备的控制方法、装置、存储介质及电子设备。

背景技术

物体抓取是机器人领域被广泛研究的问题。一种常见的物体抓取方式为几何分析方法，几何分析方法假定物体和物体抓握点已知，预先在数据库中针对已知物体构建3D物体模型，并分别标记物体的抓取位置，同时规定针对物体抓取位置的评价标准，在实际应用时，以视觉及几何相似性为依据，将待抓取物体的RGB-D深度图像与数据库中已存储的3D物体模型匹配，并确定对应的物体抓握点。但是，上述几何分析方法在实际的物理抓取场景中抓取效果不好，常常出现抓取失败的问题。另外，在针对物体进行抓取时，常常通过不断给出下一抓取指令，控制抓手向待抓取物体移动的方式进行抓取，因而在控制抓手移动的过程中，需要获取每一帧的物体图像，用于生成抓取指令，不仅计算量大，准确性也不够理想。

发明内容

本公开的目的是提供一种用于抓取设备的控制方法、装置、存储介质及电子设备，以提升抓取准确率。

为了实现上述目的，本公开提供一种用于抓取设备的控制方法，所述方法包括：

根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态；

在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；

生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置；

针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；

根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；

在所述抓手移动到位后，控制所述抓手抓取所述目标物体。

可选地，所述根据所述第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，包括：

将所述第一RGB图像输入至抓取姿态信息生成模型，以获得所述抓取姿态信息生成模型针对所述第一RGB图像生成的所述目标抓取姿态信息，其中，所述抓取姿态信息生成模型是根据多个第一训练样本训练得到的，所述第一训练样本包括：第一历史目标物体的第一历史RGB图像和所述第一历史RGB图像对应的第一历史目标抓取姿态信息。

可选地，所述抓取成功率预测模型是根据多个第二训练样本训练得到的，所述第二训练样本包括：在所述抓手处于第二历史目标抓取姿态信息下所述图像采集设备采集到的第二历史目标物体的第二历史RGB图像、该第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，所述历史偏移信息包括所述抓手以所述第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，所述历史抓取结果信息用于表征抓取成功或失败。

可选地，所述根据对应于最大预测成功率的偏移信息，确定目标偏移信息，包括：