[发明专利]一种基于虚拟现实的人机交互方法

说明书

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于虚拟现实（Virtual Reality，VR）的人机交互方法。

背景技术

人机交互技术即为通过人与机器人之间的信息交互，实现人控制机器人执行各种动作。在如救援、高危作业等各领域中需要应用机器人执行相应任务，通过人机交互技术，由操作人员在远端遥控机器人，获取机器人的实时动作、周围环境信息后，再控制机器人调整相应执行动作，无需操作人员现场进行操作，执行效率以及安全性能高。

为实现人机交互，目前通常是直接通过网络数据传输机器人的运动信息、实景环境视频数据等，再直接利用液晶显示屏等显示设备将视频数据进行显示，以使得操作人员能够获取到机器人运动、环境信息。但是直接利用显示设备显示机器人环境信息，操作人员在第三视角下的临场感不强，且通常机器人所处环境网络带宽有限，直接通过网络获取环境信息给显示设备显示时，所需的带宽大，使得传回的视频流经常会存在延时和丢包现象，不仅增加操作人员的操作难度，还容易使操作人员疲劳。

虽然通过肌电、脑电、语音等新兴的交互设备也可以实现有效的人机交互，完成在特定任务下的机器人动作级、行为级、任务级等控制，但是存在以下问题：

1）均只能特定的适用于基于如肌电、脑电、语音等信息执行交互，具有极强的针对性和局限性，不能广泛适用于多种任务和机器人平台中；

2）对于实时实景环境数据获取，仍然是基于完整的实景视频数据传输，直接使用显示设备将视频数据进行显示，数据量大、对网络传输带宽要求高，且实时性不强。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、所需通信带宽小、人机交互效率高以及效果好，且应用灵活的基于虚拟现实的人机交互方法。

为解决上述技术问题，本发明提出的技术方案为：

一种基于虚拟现实的人机交互方法，步骤包括：

1）在被控机器人端，实时采集被控机器人的运动信息、所处环境的实景环境数据，根据采集的所述运动信息对被控机器人的位姿进行估计以及根据采集的所述实景环境数据构建对应的三维环境地图，实时获取所述位姿估计结果以及所述三维环境地图实时更新得到的增量数据进行发送；

2）在控制端，通过虚拟现实系统显示所述三维环境地图以及由建立的机器人模型显示被控机器人的位姿状态，并实时接收所述位姿估计结果、所述增量数据，根据接收到的所述位姿估计结果、所述增量数据分别对机器人模型的位姿状态、所述三维环境地图进行更新；根据更新后的位姿状态以及三维环境地图生成控制指令发送给被控机器人，以控制被控机器人执行所需动作。

作为本发明的进一步改进，所述步骤1）中具体通过每隔指定周期数时，将当前周期三维环境地图与指定周期数前三维环境地图进行比较，去除当前周期三维环境地图中，与指定周期数前三维环境地图相似度在指定范围内的数据，得到所述增量数据。

作为本发明的进一步改进：所述步骤1）中具体采用一个线程对被控机器人的位姿进行估计，并实时获取所述位姿估计结果进行发送，由另一个线程构建三维环境地图，并实时获取所述三维环境地图实时更新得到的增量数据进行发送。

作为本发明的进一步改进：所述实现对被控机器人的位姿进行估计，并实时获取所述位姿估计结果进行发送，以及所述构建三维环境地图，并实时获取所述三维环境地图实时更新得到的增量数据进行发送，具体采用LOAM算法的双线程分别执行。

作为本发明的进一步改进：所述步骤1）中具体基于搭载在被控机器人上的三维距离传感器和IMU，实时采集被控机器人的运动信息、所处环境的实景环境数据。

作为本发明的进一步改进，所述步骤2）中虚拟现实系统显示所述三维环境地图以及被控机器人的位姿状态的具体步骤为：

2.1）预先构建机器人模型，并在虚拟现实系统中进行可视化渲染；

2.2）获取所述机器人模型的位姿状态、所述三维环境地图的初始数据，根据获取的所述初始数据在虚拟现实系统中构建机器人模型的初始位姿状态、初始三维环境地图；

2.3）所述虚拟现实系统实时接收被控机器人端发送的所述位姿估计结果、所述增量数据，由接收到的所述位姿估计结果对机器人模型的位姿状态进行可视化渲染，以更新被控机器人的位姿状态，以及将所述增量数据在当前三维环境地图中进行可视化渲染，以更新三维环境地图。