[发明专利]一种基于混合现实技术的虚拟人机示教系统及方法

权利要求书

1.一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述系统由计算机主机、全息投影系统、视觉传感器、惯性传感器集成在一起,全息投影系统、视觉传感器、惯性传感器通过有线方式连接计算机主机，完成数据通讯。

2.根据权利1所述的一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述计算机主机的中央处理系统可以是任意的中央处理器（CPU）、图形处理器（GPU）。

3.根据权利1所述的一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述全息投影系统负责接收计算机主机发送过来的图像信息并在投影区投影出虚拟图像。

4.根据权利1所述的一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述视觉传感器为具有三维识别功能的摄像头与深度传感器，用于采集物体的空间位置信息和运动信息。

5.根据权利1所述的一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述惯性测量单元为加速度计与陀螺仪，用于采集设备自身的位置与姿态信息。

6.根据权利3所述的一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述投影区投影虚拟图像内容主要是但不限于：3D虚拟示教动画、控制菜单。

7.根据权利3所述的一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述投影区提供一个人与示教系统交互的区域，交互形式包含但不限于：人通过不同的手势与虚拟投影区进行交互。

8.根据权利6所述的一种基于混合现实技术的虚拟人机示教系统，其特征在于：示教动画可以是任意的，形式多样的，内容包含但不限于：加工装配等工业任务。

9.一种基于混合现实技术的虚拟人机示教系统的实施方法，其特征在于：所述方法包括如下内容：

①该设备需要佩戴在操作人员头上，视觉传感器采集空间的三维图像信息，这些摄像头能够获取不同角度的深度图，再对不同的深度图进行累积，从而借助立体视觉等技术由计算机主机中央处理系统计算出周围环境的精确的三维模型；

②获取了周围的三维场景模型后，计算机中央处理系统生成图像信息，并控制全息投影系统透过全息透视镜在被操作对象的上方投影出一个投影区，内容包括3D虚拟示教动画和控制菜单，惯性测量单元可以追踪操作人员的头部移动获取位置与姿势信息，当操作人员视线移动的时候投影的虚拟区域可能出了操作人员的视野范围，操作人员可以移动头部位置转换视角使得投影区重新进入视野范围；

③视觉传感器可以实时捕捉人手的位置并识别人手的手势，当人手进入投影的“控制菜单”区域时，交互方式可以是但不限于：手势动作为连续的“点击动作”与“释放动作”，这样即为一次“有效点击”，经过一次“有效点击”则选中控制菜单对应区域的控制命令，视觉传感器将此信息传递给计算机主机中央处理系统，根据事先编程好的所对应的控制指令计算机主机中央处理系统控制投影系统投影出新的内容；

操作人员还可以与示教动画交互，当视觉传感器检测到人手进入3D虚拟示教动画区域时，若人手完成一次“点击动作”则计算机主机中央处理系统控制全息投影系统使3D虚拟动画暂停，若视觉传感器检测到人手“点击”状态没有结束则操作人员可以拖动3D虚拟动画的位置与角度，使得示教动画实现360度展现，当视觉传感器检测到人手的“释放动作”时代表“点击动作”结束，拖动作用结束，3D虚拟动画继续进行；

④计算机主机中央处理系统实时地接收视觉传感器采集的图像信息进行处理和实时地构造投影图像并发送给全息投影系统进行投影；另一方面在识别出人手进入投影区域且在投影控制区有人为控制指令产生时，给全息投影系统发送相应的控制信号。