[发明专利]抓取点检测方法及装置、电子设备和存储介质

权利要求书

1.一种抓取点检测方法，其特征在于，包括：

获取待抓取的目标的采集数据，所述采集数据包括二维的图像数据或三维的点云数据；

对所述采集数据进行抓取点预测，确定所述目标的第一抓取点预测结果，所述第一抓取点预测结果包括所述目标上的数据点所指示的预测点，以及所述数据点针对所述预测点的置信度；

根据所述目标上各个数据点针对所述预测点的置信度，从所述预测点中确定出所述目标的抓取点，以使抓取设备根据所述抓取点抓取所述目标；

其中，所述方法通过抓取点检测网络，对所述采集数据进行抓取点预测，确定所述目标的第一抓取点预测结果，所述抓取点检测网络是根据样本数据的标签数据与所述样本数据的第二抓取点预测结果之间的第一损失项与第二损失项训练得到的；

其中，所述第一损失项根据所述标签数据中抓取点的第一位置信息、所述第二抓取点预测结果中的预测点的第二位置信息以及所述第二抓取点预测结果中的置信度确定，所述第二损失项根据所述第二抓取点预测结果中的置信度确定。

2.根据权利要求1所述的方法，其特征在于，根据所述目标上各个数据点针对所述预测点的置信度，从多个预测点中确定出所述目标的抓取点，包括：

根据所述目标上的各个数据点针对所述预测点的置信度，确定所述预测点的响应值；

根据多个预测点的响应值，从所述多个预测点中确定出所述目标的抓取点。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标上的各个数据点针对所述预测点的置信度，确定所述预测点的响应值，包括：

将指示所述预测点的各个数据点的置信度进行累加，得到所述预测点的响应值。

4.根据权利要求2所述的方法，其特征在于，所述根据多个预测点的响应值，从所述多个预测点中确定出所述目标的抓取点，包括：

将响应值超过预设阈值对应的预测点，确定为所述目标的抓取点。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述采集数据包括二维的图像数据的情况下，获取与所述图像数据对应的深度图；

根据所述抓取点在所述深度图中对应的深度值，以及所述抓取点在所述图像数据中的二维位置，确定所述抓取点对应的法向量，所述法向量用于确定所述抓取设备的位姿，以使所述抓取设备基于所述位姿以及所述抓取点抓取所述目标。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述采集数据包括三维的点云数据的情况下，根据所述抓取点在所述点云数据中的三维位置，确定所述抓取点对应的法向量，所述法向量用于确定所述抓取设备的位姿，以使所述抓取设备基于所述位姿以及所述抓取点抓取所述目标。

7.根据权利要求1所述的方法，其特征在于，所述目标上的数据点所指示的预测点，用所述数据点所指示的预测点的位置信息表征，所述位置信息包括所述数据点所指示的预测点与所述数据点之间的距离信息，

所述方法还包括：根据所述数据点指示的距离信息，以及所述数据点的位置信息，确定所述数据点所指示的预测点。

8.根据权利要求1所述的方法，其特征在于，所述第一抓取点预测结果还包括所述采集数据中各个数据点的分类信息，所述分类信息用于指示所述采集数据中各个数据点是否为所述目标上的数据点。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：

获取包含样本目标的样本数据，以及与所述样本数据对应的标签数据，所述标签数据包括所述样本目标上的数据点所指示的抓取点，所述样本数据包括二维的图像数据或三维的点云数据；

将所述样本数据输入至待训练的抓取点检测网络中，输出所述样本目标的第二抓取点预测结果，所述第二抓取点预测结果包括所述样本目标上的数据点所指示的预测点，以及所述样本目标上的数据点针对所述预测点的置信度；

根据所述标签数据与所述第二抓取点预测结果，训练所述抓取点检测网络。