[发明专利]基于视觉的遥操作机器人控制系统及方法

权利要求书

1.一种基于视觉的遥操作机器人控制系统，其特征在于，所述控制系统包括主站和从站，所述主站通过网路与所述从站连接；其中，

所述主站包括：

一字支架和十字支架，为手持设备，通过操作者的手部运动分别带动所述十字支架和一字支架运动；

深度相机，用于采集所述十字支架和一字支架运动时的彩色图像及对应的深度图像；

主站控制器，与所述深度相机连接，用于根据所述彩色图像及对应的深度图像确定所述十字支架的位姿增量及一字支架与竖直方向的夹角；

所述从站包括机械臂、与所述机械臂的末端连接的机械抓手以及机械臂控制器；所述机械臂控制器通过网路与所述主站控制器连接，用于接收所述十字支架的位姿增量及一字支架与竖直方向的夹角；所述机械臂控制器分别与所述机械臂和机械抓手连接，用于根据所述十字支架的位姿增量控制所述机械臂的目标位姿，根据所述夹角控制所述机械抓手的开闭；

所述十字支架上的三个端部分别设置有一个球体，且所述十字支架的连接处设置有一个球体；所述一字支架的两端分别设置有一个球体，且六个球体的颜色均不相同。

2.根据权利要求1所述的基于视觉的遥操作机器人控制系统，其特征在于，所述主站还包括：

六个分类器，分别与所述深度相机和主站控制器连接，用于根据所述彩色图像中六个球体的颜色进行分类识别；

所述主站控制器还用于采用重心法确定六个球体的球心位置，并根据各所述球心位置及所述深度图像确定六个球体在当前帧中摄像机坐标系下的三维空间位置。

3.根据权利要求2所述的基于视觉的遥操作机器人控制系统，其特征在于，所述主站还包括：

Kalman滤波器，与所述主站控制器连接，用于根据各球体在当前帧中摄像机坐标系下的三维空间位置，预测各球体在下一帧中的位置；

所述主站控制器还用于根据预测的各球体在下一帧中的位置及所述深度相机采集的彩色图像进行局部检测确定球体的三维空间位置。

4.根据权利要求1所述的基于视觉的遥操作机器人控制系统，其特征在于，所述主站还包括均值滤波器，与所述控制器连接，用于对所述十字支架的位姿增量进行滤波，并将滤波后的位姿增量通过网络发送至所述机械臂控制器。

5.根据权利要求1-4中任一项所述的基于视觉的遥操作机器人控制系统，其特征在于，所述从站还包括网络相机，用于采集机械臂与机械抓手的运动及工作场景的图像；

所述主站还包括显示器，与所述主站控制器连接；所述主站控制器还用于接收所述网络相机采集的机械臂与机械抓手的运动及工作场景的图像，并发送至所述显示器进行显示。

6.一种基于视觉的遥操作机器人控制方法，其特征在于，所述控制方法包括：

在主站，通过深度相机采集操作者手部运动时带动十字支架和一字支架运动的彩色图像及对应的深度图像；

通过主站控制器根据所述彩色图像及对应的深度图像确定所述十字支架的位姿增量及一字支架与竖直方向的夹角；

在从站，通过机械臂控制器接收所述十字支架的位姿增量及一字支架与竖直方向的夹角，并根据所述十字支架的位姿增量控制所述机械臂的目标位姿，根据所述夹角控制机械抓手的开闭；

所述十字支架上的三个端部分别设置有一个球体，且所述十字支架的连接处设置有一个球体；所述一字支架的两端分别设置有一个球体，且六个球体的颜色均不相同。

7.根据权利要求6所述的基于视觉的遥操作机器人控制方法，其特征在于，所述控制方法还包括：

通过六个分类器根据所述彩色图像中六个球体的颜色进行分类识别；通过所述主站控制器采用重心法确定六个球体的球心位置，并根据各所述球心位置及所述深度图像确定六个球体在当前帧中摄像机坐标系下的三维空间位置。

8.根据权利要求7所述的基于视觉的遥操作机器人控制方法，其特征在于，所述控制方法还包括：

通过Kalman滤波器根据各球体在当前帧中摄像机坐标系下的三维空间位置，预测各球体在下一帧中的位置；通过所述主站控制器根据预测的各球体在下一帧中的位置及所述深度相机采集的彩色图像进行局部检测确定球体的三维空间位置。