[发明专利]一种头戴式VR环境的人机交互方法及系统

权利要求书

1.一种头戴式VR环境的人机交互方法，其特征在于，包括：

对平面辅助物和用户手部进行识别跟踪；所述平面辅助物为用户在现实场景中操作的平面物体，所述平面辅助物与用户佩戴的头戴式VR设备中呈现的虚拟平板形状相同；

根据所述平面辅助物和所述用户手部的跟踪结果，在所述头戴式VR设备的虚拟场景中绘制虚拟平板和虚拟手；

通过所述平面辅助物将智能平板的交互范式引入所述虚拟平板，确定所述虚拟平板的交互功能；所述交互功能包括导航、选择、操纵和系统控制；

根据所述用户在现实场景中对所述平面辅助物的操作，采用触觉重定向算法更新所述虚拟场景中虚拟手的移动路径；所述虚拟场景中虚拟手的移动路径用于指导用户在现实场景中的物理手的移动；

所述根据所述用户在现实场景中对所述平面辅助物的操作，采用触觉重定向算法更新所述虚拟场景中虚拟手的移动路径，具体包括：

基于触觉重定向目标选择技术，获取用户第i次选定的交互目标，得到第i个交互目标；所述交互目标为所述虚拟平板上交互功能对应的操作按钮；

判断所述第i个交互目标与第i-1个交互目标是否为相邻的交互目标；所述第i-1个交互目标为所述用户第i-1次选定的交互目标；i为大于1的整数；

当所述第i个交互目标与第i-1个交互目标不是相邻的交互目标时，根据所述第i个交互目标的位置偏移量和总偏移量，确定当前虚拟手的位置偏移量；所述第i个交互目标的位置偏移量为选定所述第i个交互目标时，虚拟手的位置与物理手的位置之间的偏移量；所述总偏移量为所述第i个交互目标的虚拟位置与所述第i个交互目标对应的物理位置之间的偏移量；

当所述第i个交互目标与第i-1个交互目标是相邻的交互目标时，根据所述第i个交互目标的位置偏移量和物理手的位置偏移量，确定当前虚拟手的位置偏移量；所述物理手的位置偏移量为当前物理手的位置与物理手的初始位置之间的偏移量；所述物理手的初始位置为选定所述第i个交互目标时物理手的位置；

根据当前所述虚拟手的位置偏移量，确定当前虚拟手的移动位置；所述虚拟手的移动位置为当前物理手的位置与当前所述虚拟手的位置偏移量之和。

2.根据权利要求1所述的头戴式VR环境的人机交互方法，其特征在于，所述对平面辅助物和用户手部进行识别跟踪，具体包括：

采用单深度相机对所述平面辅助物的标记点进行位置跟踪；所述标记点位于所述平面辅助物的中心点位置；

采用单深度相机对所述用户手部进行整体跟踪。

3.根据权利要求1所述的头戴式VR环境的人机交互方法，其特征在于，所述根据所述平面辅助物和所述用户手部的跟踪结果，在所述头戴式VR设备的虚拟场景中绘制虚拟平板和虚拟手，具体包括：

将所述平面辅助物的标记点确定为所述虚拟场景中虚拟平板的中心位置；

将虚拟场景中的场景映射至所述虚拟平板上，形成所述虚拟平板的操作界面。

4.根据权利要求1所述的头戴式VR环境的人机交互方法，其特征在于，所述基于触觉重定向目标选择技术，获取用户第i次选定的交互目标，得到第i个交互目标，具体包括：

获取用户凝视交互目标的时间；

获取用户凝视交互目标时虚拟手抬起的高度；

当所述用户凝视交互目标的时间大于时间阈值，且用户虚拟手抬起的高度大于高度阈值时，将所述交互目标确定为用户第i次选定的交互目标。

5.根据权利要求1所述的头戴式VR环境的人机交互方法，其特征在于，所述基于触觉重定向目标选择技术，获取用户第i次选定的交互目标，得到第i个交互目标，之后还包括：

当i＝1时，获取所述第i个交互目标的总偏移量；所述总偏移量为所述第i个交互目标的虚拟位置与所述第i个交互目标对应的物理位置之间的偏移量；

利用公式W＝αT确定当前虚拟手的位置偏移量；其中，W为当前虚拟手的位置偏移量，T为所述第i个交互目标的总偏移量，α为位移比，D_s为当前物理手的位置与选定所述第i个交互目标时物理手的位置之间的距离，D_p为当前物理手的位置与第i个交互目标的物理位置之间的距离。