[发明专利]一种基于增强现实的远程监测及控制系统

说明书

本发明涉及一种基于增强现实的远程监测及控制系统，包括交互仿真控制模式和监测模式，交互仿真模式下，在服务器接收移动机器人上的RGBD相机拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型；然后结合场景三维点云模型，操作机械手仿真模型，规划路径，利用所述路径驱动所述机械手仿真模型运动，最后将动态的机械手仿真模型叠加在RGBD相机拍摄的彩色图像中，实现虚实结合的模拟显示和路径规划；所述监测模式下，通过远程数据采集系统采集监测数据，通过移动机器人巡检，获取监测对象的监测图像，通过服务器得到监测数据，将监测数据与监测数据的叠加显示，显示界面更加直观。

技术领域

本发明涉及一种基于增强现实的远程监测及控制系统，属于智能制造和计算机测量与控制领域。

背景技术

当前远程监测与控制已经广泛应用生产，然而在监测方面，当前的监测系统把监测视频和监测数据分别显示，监视人员需要自己将视频内容和监测数据联系在一起，界面现实不够直观。另外，在控制方面，控制人员只能够通过颜色图像估计远程环境的三维信息，规划机械手的路径，以此方式控制远程机械手完成操作，这样会造成机器人控制不够准确。

公开号为CN106863303A的发明专利《CN106863303A》，其具体技术方案为：通过安装在机械手各关节处的编码器采集各关节的角位移，并将采集数据送计算机处理，计算机依据各关节角位移数据规划出机械手路径，并控制机械手沿此路径完成焊缝的焊接。该技术方案为设备现场路径规划方式，无法满足当前企业远程路径规划的需求。

发明内容

为了解决上述技术问题，本发明提供一种基于增强现实的远程监测及控制系统，实现远程巡检应用的视频监测和数据监测的融合显示以及在服务器端生成机器人远端操作的本地路径规划和模拟。

本发明的技术方案如下：

一种基于增强现实的远程监测及控制系统，包括交互仿真控制模式，该模式通过服务器和位于远端设备及环境中的移动机器人，以虚实结合的方式完成机械手远端操作的本地路径规划和模拟，具体地：

所述移动机器人包括机器人本体，以及设于机器人本体上的机械手和RGBD相机；

所述服务器包括一远端环境重建模块、机械手操作仿真模块以及增强现实显示模块；所述远端环境重建模块接收所述RGBD相机拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型；所述机械手操作仿真模块建立机械手仿真模型，然后结合场景三维点云模型，操作机械手仿真模型，规划路径，最后利用所述路径驱动所述机械手仿真模型运动；所述增强现实显示模块将动态的机械手仿真模型叠加在RGBD相机拍摄的彩色图像中，实现虚实结合的模拟显示。

更优地，所述交互仿真控制模式下还完成碰撞检测，具体地：所述机械手操作仿真模块在场景三维点云模型中利用所述路径驱动机械手仿真模型运动，检查机械手仿真模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，若不存在干涉，则将所述路径发送给移动机器人，移动机器人根据路径控制机械手的运动，完成操作任务。

更优地，所述移动机器人上还包括图像采集控制器、机器人本体控制器以及机械手控制器；所述图像采集器控制相机云台运动，并采集所述RGBD相机上的彩色图像和深度图像，所述RGBD相机固定于相机云台上；所述机器人本体控制器控制机器人本体运动，并反馈机器人本体的方位和姿态；所述机械手控制器控制机械手的运动；

所述服务器上还设有云台遥操作模块、机器人本体遥操作模块以及机械手遥操作模块；所述云台遥操作模块向图像采集控制器发送指令，控制相机云台按照指令运动，从而改变RGBD相机的拍摄角度；所述机器人本体遥操作模块向机器人本体控制器发送指令，控制机器人本体按照指令运动；所述机械手遥操作模块向机械手控制器发送指令，控制机械手按照指令运动；