[发明专利]一种虚拟现实人机交互系统及方法

说明书

本发明公开了一种虚拟现实人机交互系统及方法，基于空间定位与手势识别，将虚实空间坐标匹配与手势识别相结合，通过手势图像的采集和处理能够实时获得用户操作实时变化的手势模型，在头盔显示器显示可给用户提供视觉感受。通过空间坐标标定后的半实物操作设备与虚拟场景中的操作对象准确映射，给用户提供操作过程中的触觉体验。本发明与常用实现方式相比，具有交互直接、接近实际和体验感强等优点；通过头盔进行显示的虚拟现实系统的人手操作输入脱离手柄、手套的限制，使虚拟现实系统的人机交互操作直接、自然，并能获得触觉感受，达到更接近真实的用户体验效果。

技术领域

本发明属于虚拟现实仿真技术领域，具体涉及一种虚拟现实人机交互系统及方法。

背景技术

近年，虚拟现实(Virtual Reality，简称VR)技术及VR交互设备在在大型装备的虚拟训练、虚拟维修等方面有了越来越广泛的应用，在国内外陆续出现了诸如基于VR的飞机虚拟维修系统、工程机械虚拟操作训练系统、战车驾驶模拟与操控系统等。这样的VR虚拟系统中大多采用手柄或数据手套进行交互输入，虽然也能达到虚拟交互的目的，但普遍存在交互操作不直接，与实际装备使用的过程不一致，更不能提供交互操作的触觉感受，用户体验感不强。在手势识别技术发展的基础上，出现了手势识别与VR技术的结合，但几乎大多数的应用中操作者的手仅仅与空间的空气“交互”，仍不能给操作者以更为真实的实操体验。

发明内容

本发明提供一种虚拟现实人机交互系统及方法，能获得触觉感受，达到更接近真实的用户体验效果。

为了解决以上技术问题，本发明提供了一种虚拟现实人机交互系统，其特征在于：包括虚拟现实头盔、图形工作站、双目摄像头和半实物操作对象；所述虚拟现实头盔用于呈现沉浸感视觉图像，提供虚拟场景和用户手势的显示功能；所述双目摄像头用于采集用户手势图像信息并发送给图形工作站；所述半实物操作对象是用于模拟实际操作对象的纯硬件设备；图形工作站与双目摄像头通讯，用于获取左眼摄像头和右眼摄像头采集的手势图像信息，并提取视差信息，进行手势分割、手势三维建模、指尖识别，将生成的手势模型显示于虚拟现实头盔的显示器中，用于用户可视化操作。

一种虚拟现实人机交互方法，其特征在于，具体包括如下步骤：

步骤1、虚拟空间设备及场景建模：建立仿真对象设备以及场景在虚拟现实空间中的三维模型，尤其还包括虚拟手模型，用于用户手形在虚拟空间中的动态显示；

步骤2、设计及布置半实物操作对象设备；

步骤3、对虚拟操作设备与实际空间半实物操作设备进行空间坐标匹配：分别建立虚拟空间三维坐标系和实际空间三维坐标系，在实际空间中确定一点作为坐标原点，采用激光测距方式测量出操作对象与坐标原点之间的距离；将实际空间中确定的坐标原点投射到虚拟空间中，建立虚拟空间中的坐标原点，即完成了实际空间和虚拟空间的坐标匹配；

步骤4、采集用户手势图像信息：通过双目摄像头的左右眼摄像头分别采集获取左右通道手势图像，并将数据发送给图形工作站；

步骤5、识别处理用户手势信息：图形工作站根据接收到的双目手势图像进行手势分割、手势识别、指尖识别、手势三维建模；

步骤6、用户手势图像虚拟场景显示：图形工作站将建模生成的三维手势图像数据发送给头盔，在头盔的显示屏上进行同步实时显示。

有益效果：本发明基于空间定位与手势识别的，将虚实空间坐标匹配与手势识别相结合。通过手势图像的采集和处理能够实时获得用户操作实时变化的手势模型，在头盔显示器显示可给用户提供视觉感受。通过空间坐标标定后的半实物操作设备与虚拟场景中的操作对象准确映射，给用户提供操作过程中的触觉体验。本发明与常用实现方式相比，具有交互直接、接近实际和体验感强等优点；通过头盔进行显示的虚拟现实系统的人手操作输入脱离手柄、手套等的限制，使虚拟现实系统的人机交互操作直接、自然，并能获得触觉感受，达到更接近真实的用户体验效果。