[发明专利]服务机器人视觉抓取方法及服务机器人

权利要求书

1.服务机器人视觉抓取方法，其特征在于，包括：

使用自主导航算法或根据接收到的用户的控制指令控制移动底盘运转，使服务机器人运动至设定位置；

通过视觉元件采集周围环境的视频数据，并将视频数据实时传送给用户的操控终端；

接收用户的选择指令，得到待抓取物品的信息；

计算所述待抓取物品的位置数据；

根据所述位置数据调整所述服务机器人的姿态，以使所述待抓取物品落入机械臂的抓取范围；

控制所述机械臂调节抓取姿态，并抓起所述待抓取物品；

使用自主导航算法或根据接收到的用户的控制指令控制所述移动底盘运转，使服务机器人运动至交接物品的位置；

用户通过操控终端的触摸屏选择待抓取物品，所述接收用户的选择指令，得到待抓取物品的信息包括：

根据用户在所述操控终端的触摸屏上的触摸位置确定待抓取物品在视频图像中的位置；

对所述视频图像中对应于所述触摸位置处的图像进行提取分析，得到待抓取物体的图像；

利用标记框将所述待抓取物体在所述视频图像中框选出来。

2.根据权利要求1所述的服务机器人视觉抓取方法，其特征在于，所述视觉元件安装在多轴云台上，所述通过视觉元件采集周围环境的视频数据包括：

接收用户的云台操控指令；

根据所述云台操控指令控制所述多轴云台旋转，同时通过视觉元件采集其视野内的视频数据。

3.根据权利要求1所述的服务机器人视觉抓取方法，其特征在于，所述计算所述待抓取物品的位置数据包括：

获取所述标记框内每个像素点对应的点云坐标；

根据所述点云坐标去除深度距离不满足条件的像素点；

根据剩余像素点的点云坐标计算点云形心的位置，并以此作为所述待抓取物品的位置数据。

4.根据权利要求3所述的服务机器人视觉抓取方法，其特征在于，所述根据剩余像素点的点云坐标计算点云形心的位置包括：

根据计算公式计算所述点云形心的位置，其中，n为剩余像素点的总个数，(x_i，y_i，z_i)为第i个像素点的点云坐标。

5.根据权利要求1所述的服务机器人视觉抓取方法，其特征在于，所述根据所述位置数据调整所述服务机器人的姿态包括：

判断所述位置数据是否在所述机械臂的抓取范围内；

当所述位置数据不在所述机械臂的抓取范围内，驱动所述服务机器人的移动底盘和/或升降调节模块运转，使得所述位置数据落入所述机械臂的抓取范围。

6.根据权利要求2所述的服务机器人视觉抓取方法，其特征在于，所述控制所述机械臂调节抓取姿态包括：

获取所述标记框内每个像素点对应的点云坐标，所述标记框内所有像素点构成点云图；

使用RANSAC方法从所述点云中提取平面，并从所述点云图中剔除所述平面包含的点以及位于所述平面以下的点；

剔除所述点云图中剩余点中的离群点；

根据所述点云图中剩余的所有点的点云坐标计算剩余所有点的形心坐标、主轴方向以及包围盒的长、宽、高；

判断所述包围盒的宽、高是否超出机械臂的爪手的自动抓取范围，是则输出提示信息至用户的操控终端，否则执行下一步；

将所述形心坐标与主轴方向转换至所述机械臂的基坐标系下，得到转换后形心坐标以及转换后主轴方向；

根据所述转换后形心坐标与转换后主轴方向计算爪手的夹取位姿，所述夹取位姿包括原点位置与旋转矩阵；

控制所述机械臂运转与爪手运转，以使所述爪手调节至夹取位置。

7.根据权利要求6所述的服务机器人视觉抓取方法，其特征在于，所述从所述点云图中剔除所述平面包含的点已经位于所述平面以下的点包括：

计算提取到的平面的平面方程Ax+By+Cz+D＝0；

将所述点云图中平面外的点的点云坐标分别代入所述平面方程，并判断各结果与平面方程系数D是否同号；

当所述结果与平面方程系数D同号，则保留对应的点；

当所述结果与平面方程系数D异号，则剔除对应的点。