[发明专利]环幕场景下基于手势识别的虚拟现实交互装置

权利要求书

1.环幕场景下基于手势识别的虚拟现实交互装置，其适用于环幕场景；本发明使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；

所述的手部追踪模块、定位设备的定位器安装在3D眼镜上由用户佩戴，将定位设备的定位基站放置在环幕的中央区域；利用定位设备获取用户的位置；利用手部追踪模块获取用户的手的位姿信息，并经过通信模块将位姿信息发送给图形工作站；图形工作站将用户的局部坐标系与环幕所展示的虚拟世界的世界坐标系统一；图形工作站对手的位姿信息进行处理，将处理好的信息在环幕上进行仿真还原；若处理后的信息满足某种指令手势对位姿的要求，则根据该手势代表的意义，图形工作站发出的指令，虚拟世界里进行相应指令的反馈，重新渲染显示。

2.根据权利要求1所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的手部追踪模与3D眼镜组装在一起，依靠手部追踪模中的红外线发射器获取该模块局部坐标系中的空间位置信息；

手部追踪模块能够识别多只手的位姿信息，手的位姿信息包括左右手、手心手背、手的关节的空间位置信息，且图形工作站按毫秒级的频率对空间位置信息进行获取；手部追踪模块能够同时追踪多只手的位姿信息，以唯一ID进行区分；

所述的唯一ID在图形工作站中添加；当图形工作站接收到手部追踪模块发送的手的位姿信息后，按照这些手的空间位置关系给每只手添加唯一ID。

3.根据权利要求1或2所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于坐标统一实现如下：所述的用户的手的位姿信息所在的局部坐标系，通过定位设备的定位器到定位基站的空间坐标映射关系同步到虚拟世界的世界坐标系。

4.根据权利要求1或2所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的手势信息包括静态手势和动态手势；图形工作站对手势的识别的过程中，其识别顺序是动态手势的优先级高于静态手势的优先级。

5.根据权利要求4所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于虚拟场景中进行的交互、漫游，其实现是通过识别用户的手势信息完成的。

6.根据权利要求1所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的多人协同交互方式，通过手部追踪模块识别多只手的位姿信息实现，使得多人可以对同一虚拟世界进行协同交互。

7.根据权利要求1所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的多人协同交互方式，可以通过给每个用户添加一套手部追踪模块、定位设备定位器实现，使得多人可以对同一虚拟世界进行协同交互。

8.根据权利要求1所述所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于多人协同交互的实现如下：对于多个手部追踪模块发送的手的位姿信息，图形工作站能够通过坐标系统一；将所有手的位姿信息统一到环幕所展示的虚拟世界的世界坐标系，并按照空间位置关系为每只手添加唯一ID，使得对于现实世界中的每只手，在不同手部追踪模块中都能得到唯一的表达。

9.根据权利要求8所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于通过多个手部追踪模块追踪手的位姿信息，能够避免在识别手势时出现因自遮挡而导致的识别错误情况；其原理是，图形工作站接收所有手部追踪模块发送的手的位姿信息，为每只手添加唯一ID后，根据ID分析每只手在不同手部追踪模块里得到的位姿信息，取多数手部追踪模块得到的该手的位姿信息为该手最终的位姿信息，而对其他结果认为是由于自遮挡而得出的结果，进行舍弃。

10.根据权利要求10所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于利用多个手部追踪模块避免自遮挡，当出现多个手部追踪模块对同一只手的位姿信息的分析结果呈多种位姿信息得分相同时，则选择得分最高的随机一种位姿信息作为该手的位姿信息，并不进行此位姿信息是否表示某种指令手势的判断。