[发明专利]物体抓取点估计、模型训练及数据生成方法、装置及系统

说明书

一种物体抓取点估计、模型训练及数据生成方法、装置及系统，通过基于所述样本物体的3D模型进行抓取点采样并评估采样点的抓取质量，对加载有第一物体的3D模型的模拟场景进行渲染，生成训练用的样本图像及其中像素点的目标抓取质量，作为训练数据对物体抓取点的估计模型进行训练，训练好的模型用于物体抓取点的估计。本公开实施例可以实现样本图像的自动标注，高效、高质量地生成训练数据，并且提高抓取点的估计精度。

技术领域

本公开涉及但不限于人工智能技术，具体涉及一种物体抓取点估计、模型训练及数据生成方法、装置及系统。

背景技术

在机器人视觉引导应用场景中，机器人视觉系统遇到的挑战是需要引导机器人抓取成千上万种不同的库存物品(stock keeping unit，简称SKU)。这些物体通常是系统未知的，或者由于种类过于繁多，维护所有SKU的物理模型或者纹理模板成本过高。最简单的例子就是在拆垛应用中，虽然要抓取的物体都是长方形的物体(盒子或者箱子)，但是物体的纹理，尺寸等会根据场景的不同而发生变化。因此经典的基于模板匹配的物体定位或识别方案在这类场景中难以应用。在一些电商仓储的应用场景中，很多物体都具有不规则形状，其中最普遍的物体为类盒状物体和类瓶状物体，这些货物堆叠在一块，需要机器人视觉引导系统高效的将这些物体从堆叠的状态下一件一件分拣出来，进行后续的扫码或者识别操作并送入到合适的目标料框中。

在这个过程中机器人视觉系统如何在没有物体先验知识的情况下根据相机拍摄到的场景，对机器人最合适的抓取点(可以是吸取点但不限于此)进行估计，引导机器人执行物体抓取动作，仍然是需要解决的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本公开一实施例提供了一种物体抓取点估计模型的训练数据的生成方法，包括：

获取样本物体的3D模型，基于所述样本物体的3D模型进行抓取点采样并评估采样点的抓取质量；

对加载有第一物体的3D模型的模拟场景进行渲染，生成训练用的样本图像，所述第一物体是从所述样本物体中选取的；

根据所述第一物体的采样点的抓取质量生成所述样本图像中像素点的目标抓取质量。

本公开一实施例还提供了一种物体抓取点估计模型的训练数据的生成装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的物体抓取点估计模型的训练数据的生成方法。

本公开上述实施例的方法和装置，实现了对样本图像的自动标注，可以高效、高质量地生成训练数据，避免了人工标注带来的工作量繁重、标注质量不稳定等问题。

本公开一实施例提供了一种物体抓取点的估计模型的训练方法，包括：

获取训练数据，所述训练数据包括样本图像和所述样本图像中像素点的目标抓取质量；

以所述样本图像为输入数据，采用机器学习的方式对物体抓取点的估计模型进行训练，训练时根据所述估计模型输出的样本图像中像素点的预测抓取质量和所述目标抓取质量之间的差值计算损失；

其中，所述估计模型包括采用语义分割网络架构的主干网络和多分支网络，所述多分支网络采用多任务学习网络架构。

本公开一实施例还提供了一种物体抓取点的估计模型的训练装置，包括处理器以及存储有计算机程序的存储器，其中，所述处理器执行所述计算机程序时实现如本公开任一实施例所述的物体抓取点的估计模型的训练方法。

本公开上述实施例的方法和装置，通过训练学习的是2D图像中像素点的抓取质量，相对于直接最优的抓取点的方式，具有更好的精度和稳定性。

本公开一实施例提供了一种物体抓取点的估计方法，包括：