[发明专利]一种基于处置机器人遥操作的人机交互系统及方法

权利要求书

1.一种基于处置机器人遥操作的人机交互系统，其特征在于，包括主端和从端，所述主端包括主机及力反馈手控器，所述主机包括目标跟踪模块和沉浸式增强现实模块，所述从端包括机械臂及传感装置；

所述主机用于通过力反馈手控器来对机械臂位姿进行遥操作控制；

所述传感装置用于采集目标的深度信息及二维图像并传送至目标跟踪模块，所述目标跟踪模块用于将深度信息叠加在二维图像中以实时跟踪目标；

所述传感装置还用于获取机器人位姿并传送至沉浸式增强现实模块，所述沉浸式增强现实模块用于基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。

2.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述机械臂末端还设置有力传感器，所述力传感器用于让用户感知到机械臂末端的力变化。

3.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述主机用于采用空间映射算法来对机械臂位姿进行遥操作控制。

4.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述目标跟踪模块用于基于KCF算法得到目标像素位置以实时跟踪目标。

5.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述传感装置还用于检测湿度、温度或气体信息并传送至目标跟踪模块，由目标跟踪模块叠加在二维图像中。

6.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述沉浸式增强现实模块用于采用区域生长法对目标进行点云建模。

7.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述沉浸式增强现实模块用于根据图形的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册。

8.如权利要求1所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述沉浸式增强现实模块中构建有机械臂模型，机械臂模型用于对力反馈手控器输入事先进行轨迹仿真，并绘制出轨迹。

9.如权利要求8所述的基于处置机器人遥操作的人机交互系统，其特征在于，所述力反馈手控器用于在沉浸式增强现实模块确认操作无误后，再通过确认操作将控制序列发送至机械臂。

10.一种如权利要求1-9中任一项所述的基于处置机器人遥操作的人机交互系统的工作方法，其特征在于，包括：

通过力反馈手控器来对机械臂位姿进行遥操作控制；

采集目标的深度信息及二维图像并传送至目标跟踪模块，由目标跟踪模块将深度信息叠加在二维图像中以实时跟踪目标；

获取机器人位姿并传送至沉浸式增强现实模块，由沉浸式增强现实模块基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。