[发明专利]一种基于处置机器人遥操作的人机交互系统及方法

说明书

本发明提供了一种基于处置机器人遥操作的人机交互系统及方法，其中该系统包括主端和从端，所述主端包括主机及力反馈手控器，所述主机包括目标跟踪模块和沉浸式增强现实模块，所述从端包括机械臂及传感装置；所述主机用于通过力反馈手控器来对机械臂位姿进行遥操作控制；所述传感装置用于采集目标的深度信息及二维图像并传送至目标跟踪模块，所述目标跟踪模块用于将深度信息叠加在二维图像中以实时跟踪目标；所述传感装置还用于获取机器人位姿并传送至沉浸式增强现实模块，所述沉浸式增强现实模块用于基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。

技术领域

本发明属于人机交互领域，尤其涉及一种基于处置机器人遥操作的人机交互系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

为了完成危险环境中的处置任务，往往需要处置机器人代替处置人员进入危险环境工作，而基于用户、机器人空间分离的遥操作控制模式应用最为广泛，在这种控制模式下，用户可以在主端通过遥控器等控制设备向机器人发送远程指令，位于主端的操作人员无法身临其境地感知从端的机器人状态及目标处置物信息，发明人发现，由于用户对于机器人的操作判断是基于从端机器人当前状态及环境的反馈，因此在这种情况下操作人员很容易对接下来的控制方案产生误判。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于处置机器人遥操作的人机交互系统及方法，其立足于处置机器人的遥操作控制模式，不仅可以对机械臂末端位姿进行控制，还可以将机械臂末端受力反馈至主手。

为了实现上述目的，本发明采用如下技术方案：

一种基于处置机器人遥操作的人机交互系统，其包括主端和从端，所述主端包括主机及力反馈手控器，所述主机包括目标跟踪模块和沉浸式增强现实模块，所述从端包括机械臂及传感装置；

所述主机用于通过力反馈手控器来对机械臂位姿进行遥操作控制；

所述传感装置用于采集目标的深度信息及二维图像并传送至目标跟踪模块，所述目标跟踪模块用于将深度信息叠加在二维图像中以实时跟踪目标；

所述传感装置还用于获取机器人位姿并传送至沉浸式增强现实模块，所述沉浸式增强现实模块用于基于机器人位姿及目标跟踪模块中的目标位置进行三维虚拟建模，以对机械臂运动进行预测性仿真。

进一步地，所述机械臂末端还设置有力传感器，所述力传感器用于让用户感知到机械臂末端的力变化。

进一步地，所述主机用于采用空间映射算法来对机械臂位姿进行遥操作控制。

进一步地，所述目标跟踪模块用于基于KCF算法得到目标像素位置以实时跟踪目标。

进一步地，所述传感装置还用于检测湿度、温度或气体信息并传送至目标跟踪模块，由目标跟踪模块叠加在二维图像中。

进一步地，所述沉浸式增强现实模块用于采用区域生长法对目标进行点云建模。

进一步地，所述沉浸式增强现实模块用于根据图形的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵，来完成虚拟信息的跟踪注册。

进一步地，所述沉浸式增强现实模块中构建有机械臂模型，机械臂模型用于对力反馈手控器输入事先进行轨迹仿真，并绘制出轨迹。

进一步地，所述力反馈手控器用于在沉浸式增强现实模块确认操作无误后，再通过确认操作将控制序列发送至机械臂。

本发明的第二个方面提供一种基于处置机器人遥操作的人机交互系统的工作方法，其包括：

通过力反馈手控器来对机械臂位姿进行遥操作控制；