[发明专利]基于生成查询网络的机械臂抓取点定位检测的方法

说明书

本发明公开了一种基于生成查询网络的机械臂抓取点定位检测的方法，包括如下步骤：(1)提供一场景图像获取子系统、一三维模型生成子系统以及一检测判断子系统，场景图像获取子系统包括相机，三维模型生成子系统包括生成查询网络；(2)通过相机对包含机械臂和被抓取物体的当前实际场景进行图片采集；(3)将获得的图片序列作为作为生成查询网络表现层的输入；(4)通过检测判断子系统对生成的三维仿真环境进行分析，判断机械臂抓取物体是否成功，如是，则当前实际场景中机械臂抓取物体成功，如否，则当前实际场景中机械臂抓取物体失败。本发明能够独立与机械臂和被抓取的物体，使用人工智能的方法，检测机械臂抓取是否正确和规范，使操作人员能够较全面了解到操作过程中的情况。

技术领域

本发明涉及人工智能及控制技术领域，具体涉及一种基于生成查询网络的机械臂抓取点定位检测的方法。

背景技术

有一些物体在移动过程中，只能抓取某些特定部位，如果抓取其他部位，则很有可能损坏物体。在使用机械臂移动这些物体时，机械臂的“抓手”只能抓取有限被允许抓取的部位。然而，在很多情况下，机械臂抓取的定位不精确，常常发生“错位”等意外，导致移动过程中物体损坏或者掉落。在之前的解决方案中，利用光感，电感，压感等物理方法。而这些方法需要在机械臂或物体上安装相应的物理感应器件，且只能确定物体是否被抓取，无法得到更多的信息。在一般机器视觉设备(如相机)，由于拍摄角度、清晰度等因素，所拍摄的图像很可能信息缺失，让人难以直观理解。

发明内容

本发明的目的是提供一种基于生成查询网络的机械臂抓取点定位检测的方法，能够独立与机械臂和被抓取的物体，使用人工智能的方法，检测机械臂抓取是否正确和规范，使操作人员能够较全面了解到操作过程中的情况。

为实现上述发明目的，本发明提供以下的技术方案：一种基于生成查询网络的机械臂抓取点定位检测的方法，包括如下步骤：

(1)提供一场景图像获取子系统、一三维模型生成子系统以及一检测判断子系统，所述场景图像获取子系统包括相机，所述三维模型生成子系统包括生成查询网络；

(2)通过所述相机对包含机械臂和被抓取物体的当前实际场景进行图片采集，形成带有空间姿态信息的图片序列；

(3)将步骤(2)获得的图片序列作为作为所述生成查询网络表现层的输入，生成与当前实际场景相互映射的三维仿真环境；

(4)通过所述检测判断子系统对步骤(3)生成的三维仿真环境进行分析，判断机械臂抓取物体是否成功，如是，则当前实际场景中机械臂抓取物体成功，如否，则当前实际场景中机械臂抓取物体失败。

优选的，通过在不同拍摄姿态间切换的一台相机或分别处于不同拍摄姿态的多台相机获取当前场景的图片序列。

优选的，所述相机为单目相机。

优选的，带有空间姿态信息的图片序列定义为其中，i∈{1，…，N}，k∈{1，…，K}，i是数据中场景的数目，k是每个场景中图片的数目，是相机拍摄方位,是从拍摄方位拍摄到的图像。

优选的，拍摄方位用五个维度的向量(pos_x，pos_y，pos_z，yaw，pitch)表示，pos_x表示相机在三维坐标系中的X轴位置,pos_y表示相机在三维坐标系中的Y轴位置,pos_z表示相机在三维坐标系中的Z轴位置,yaw表示相机的偏航角,pitch表示相机的俯仰角。

优选的，所述生成查询网络在训练时选用值逼近方法，即最小化上界，作为代价函数，采用小批量自适应梯度下降的更新方式更新参数，即将训练集划分为很多批，对每一批计算误差并更新参数，即所述生成查询网络的损失函数公式为：

其中，

θ是模型的待训练的参数；

表示当前函数有两个参数，分别为θ和φ；