[发明专利]环幕场景下基于手势识别的虚拟现实交互装置

说明书

本发明公开了一种环幕场景下基于手势识别的虚拟现实交互装置，其适用于环幕场景。本发明使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；本发明实现了只依靠手势、识别精度高、设备轻量且支持多人协同操作的虚拟现实交互、漫游功能。

技术领域

本发明涉及虚拟现实和人机交互领域，具体涉及一种环幕场景下基于手势识别的虚拟现实交互装置。本发明应用于环幕投影显示系统场景下，实现了只依靠手势、识别精度高、设备轻量、支持多人协同操作的虚拟现实交互功能。

背景技术

虚拟现实(Virtual reality，VR)又称虚拟环境，主要是利用计算机刺激产生三维的视觉虚拟世界，使用户在虚拟的三维世界中产生身临其境的感觉和探索。也就是说，虚拟现实设备可以根据用户的位置和视角产生相应的图像，使用户在其运动过程中感受到存在感。

目前常用的VR显示设备包括外接式头显、一体机、手机盒子、环幕投影显示系统等，其中环幕投影显示系统因为其可以被多人同时观赏的特性应用广泛，常见于展馆展示和虚拟仿真等应用场景。

环幕投影显示系统通常又称为环幕投影系统，是虚拟三维投影显示系统中一种沉浸式虚拟仿真环境，系统采用环形的投影屏幕作为仿真应用的显示载体。

常见的基于环幕投影显示系统的虚拟现实交互方法，多采用定位设备采集用户位置，手柄采集用户指令的方式进行。采用手柄的好处是识别精度高，但当用户身处虚拟世界，所见所感是一个虚拟的世界，与其进行交互的方式却需要借助外物，无法满足虚拟现实体验对于沉浸感的要求。

采用手势识别的方法进行交互，用户只需要利用手势发出指令，就可以与虚拟现实场景进行交互，满足虚拟现实体验的沉浸感。但在实际应用里会遇到诸多问题，一方面，手势的设计没有明确的标准,另一方面，往往会因为手势自遮挡或者识别精度不够导致手势的识别错误。

此外，常见的虚拟现实装置，为了满足对手势的识别，采用的方法主要有两种，(i)在场景中配置红外线发射器；(ii)采集图像用计算机视觉的方法进行处理。不管是哪种方法，都需要完成对数据的采集、处理，这使得整个装置的配置变得复杂而昂贵。而且这两种方法识别精度都不够高，采用红外线发射器在环幕投影系统的环境下，受到识别距离的限制，而采用计算机视觉的方法，受到算法本身的限制，都无法精准识别手势。

在环幕投影系统的环境中，通过定位设备获取用户的位置，使得用户的走动可以反馈到虚拟世界里，实现虚拟世界的漫游效果。但在实际应用中，受到环境配置和硬件条件的限制，当用户与环幕过近时，所看到的画面会发生极大的模糊，影响观感，而且此时用户不得不后退，即对虚拟世界的漫游是受到限制的。虽然使用手柄的指令进行漫游可以解决这个问题，但是如前面所述，会削弱虚拟现实体验过程中用户的沉浸感。

在传统的应用场景中，环幕投影系统环境中与虚拟世界产生交互的只有一名用户，此用户通过手柄向处理程序发送指令。虽然其他用户可以戴上3D眼镜对虚拟世界进行观察，但是无法与其产生交互。而真实世界里，环境中的所有参与者都是可以与世界产生交互效果的，这就导致虚拟现实的沉浸感下降，应用环境受到限制。若需要满足此项功能，则需要为所有用户都配置手柄或其他指令装置，这使得整个系统的配置变得昂贵而复杂。

因此，如何解决上述现有技术的不足，是本发明所面临的问题。

发明内容

本发明提供了一种环幕场景下基于手势识别的虚拟现实交互装置，其可以应用于环幕场景下，基于手部追踪模块进行，其包括:获取用户位置的定位设备，获取用户手势的手部追踪模块，展示立体效果的3d眼镜及环幕投影系统。

本发明即将其技术问题所采用的技术方案如下：