[发明专利]用于抓取设备的控制方法、装置、存储介质及电子设备

权利要求书

1.一种用于抓取设备的控制方法，其特征在于，所述方法包括：

根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态，所述抓手的抓取姿态信息至少包括抓取中心点和抓取角度，所述抓取角度为所述抓手的抓取平面与水平面之间的夹角；

在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；

生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置，所述至少一个偏移信息所对应的至少一个移动后的位置处于目标范围内，所述目标范围为以目标抓取姿态对应的抓取中心点为球心，以预设距离为半径的球体；

针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；

根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；

在所述抓手移动到位后，控制所述抓手抓取所述目标物体。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，包括：

将所述第一RGB图像输入至抓取姿态信息生成模型，以获得所述抓取姿态信息生成模型针对所述第一RGB图像生成的所述目标抓取姿态信息，其中，所述抓取姿态信息生成模型是根据多个第一训练样本训练得到的，所述第一训练样本包括：第一历史目标物体的第一历史RGB图像和所述第一历史RGB图像对应的第一历史目标抓取姿态信息。

3.根据权利要求1所述的方法，其特征在于，所述抓取成功率预测模型是根据多个第二训练样本训练得到的，所述第二训练样本包括：在所述抓手处于第二历史目标抓取姿态信息下所述图像采集设备采集到的第二历史目标物体的第二历史RGB图像、该第二历史目标物体的蒙版图像、历史偏移信息、以及与该历史偏移信息对应的历史抓取结果信息，其中，所述历史偏移信息包括所述抓手以所述第二历史目标抓取姿态对应的抓取中心点为起点的移动方向和移动偏移量，所述历史抓取结果信息用于表征抓取成功或失败。

4.根据权利要求1所述的方法，其特征在于，所述根据对应于最大预测成功率的偏移信息，确定目标偏移信息，包括：

若最大预测成功率对应的偏移信息为一个，则将该偏移信息确定为所述目标偏移信息；

若最大预测成功率对应的偏移信息为多个，则将其中移动偏移量最小的偏移信息确定为所述目标偏移信息。

5.一种用于抓取设备的控制装置，其特征在于，所述装置包括：

第一控制模块，用于根据目标物体的第一RGB图像，确定所述抓取设备的抓手的目标抓取姿态信息，并控制所述抓手处于所述目标抓取姿态信息对应的姿态，所述抓手的抓取姿态信息至少包括抓取中心点和抓取角度，所述抓取角度为所述抓手的抓取平面与水平面之间的夹角；

图像获取模块，用于在所述抓手处于所述目标抓取姿态信息对应的姿态后，获取设置在所述抓手上的图像采集设备采集到的所述目标物体的第二RGB图像；

信息生成模块，用于生成至少一个偏移信息，其中，所述偏移信息包括所述抓手以所述目标抓取姿态信息对应的抓取中心点为起点的移动方向和移动偏移量，所述抓取中心点为所述抓手抓取的中心位置，所述至少一个偏移信息所对应的至少一个移动后的位置处于目标范围内，所述目标范围为以目标抓取姿态对应的抓取中心点为球心，以预设距离为半径的球体；

信息处理模块，用于针对每一所述偏移信息，将该偏移信息、所述第二RGB图像和所述目标物体的蒙版图像输入至抓取成功率预测模型，以获得所述抓取成功率预测模型输出的与该偏移信息对应的预测成功率；

第二控制模块，用于根据对应于最大预测成功率的偏移信息，确定目标偏移信息，并控制所述抓手按照所述目标偏移信息移动；

第三控制模块，用于在所述抓手移动到位后，控制所述抓手抓取所述目标物体。