[发明专利]一种头戴式VR环境的人机交互方法及系统

说明书

本发明涉及一种头戴式VR环境的人机交互方法及系统。该方法包括：对平面辅助物和用户手部进行识别跟踪；平面辅助物为用户在现实场景中操作的平面物体，平面辅助物与用户佩戴的头戴式VR设备中呈现的虚拟平板形状相同；根据平面辅助物和用户手部的跟踪结果，在头戴式VR设备的虚拟场景中绘制虚拟平板和虚拟手；通过平面辅助物将智能平板的交互范式引入虚拟平板，确定虚拟平板的交互功能；交互功能包括导航、选择、操纵和系统控制；根据用户在现实场景中对平面辅助物的操作，采用触觉重定向算法更新虚拟场景中虚拟手的移动路径；虚拟场景中虚拟手的移动路径用于指导用户在现实场景中的物理手的移动。本发明可以实现综合交互。

技术领域

本发明涉及虚拟现实领域，特别是涉及一种头戴式VR环境的人机交互方法及系统。

背景技术

近些年随着低成本头戴式显示器(head-mouted display，HMD)的出现，沉浸式虚拟现实(virtual reality，VR)设备在普通用户中得以普及。VR环境是一个类似于真实世界的三维空间，其交互方式主要存在导航、选择、操纵和系统控制四种类型。传统的鼠标、键盘作为HMD视野外部工具并不适合在沉浸式的三维空间中使用，因此提出更加自然的三维空间交互方式一直是人们追求的目标。

目前，HMD-VR显示设备种类丰富，主要有HtcVive、Oclus Rift等，其中以HtcVive为代表的手柄式交互成为了该类交互系统的主流方法。手柄通过光线投射和虚拟手技术可以在中近距离选择和操纵虚拟物体，并通过手柄上的按钮进行导航和系统控制。然而，手柄交互系统在远距离情况下很难选择和操纵物体。SOHN等人提出了利用用户的身体姿势进行交互，通过MicroSoft Kinect体感设备捕捉用户的身体骨骼和分析用户姿势实现导航功能，但是在选择、操纵和系统控制上存在困难。Jackie(Junrui)Yang等人使用自制VR抓取器可以精确地抓取目标并获得触觉反馈，但仅侧重于近距离选择和操纵。王依林等人发明了一种基于VR的交互方法，采用头部连续旋转与场景交互，但是该交互方法可能会造成用户身体上的不适。郭瑽等人发明了一种VR场景交互方法，通过位置采集装置获取用户位置并展示到VR场景中。张圣科等人发明了一种超时空重合世界VR交互方法及系统，通过虚拟内容与现实实物的完全融合，达到提高沉浸感的效果。王琳等人发明了一种基于动态手势的VR交互方法，通过静态手势识别完成单击和指向两类手势对应的交互操作。但是，上述几种交互方法过于单一，无法支持包括多种交互功能的交互系统，例如，对导航、选择、操纵和系统控制无法很好的支持，无法实现综合交互。

发明内容

本发明的目的是提供一种头戴式VR环境的人机交互方法及系统，以实现综合交互。

为实现上述目的，本发明提供了如下方案：

一种头戴式VR环境的人机交互方法，包括：

对平面辅助物和用户手部进行识别跟踪；所述平面辅助物为用户在现实场景中操作的平面物体，所述平面辅助物与用户佩戴的头戴式VR设备中呈现的虚拟平板形状相同；

根据所述平面辅助物和所述用户手部的跟踪结果，在所述头戴式VR设备的虚拟场景中绘制虚拟平板和虚拟手；

通过所述平面辅助物将智能平板的交互范式引入所述虚拟平板，确定所述虚拟平板的交互功能；所述交互功能包括导航、选择、操纵和系统控制；

根据所述用户在现实场景中对所述平面辅助物的操作，采用触觉重定向算法更新所述虚拟场景中虚拟手的移动路径；所述虚拟场景中虚拟手的移动路径用于指导用户在现实场景中的物理手的移动。

可选的，所述对平面辅助物和用户手部进行识别跟踪，具体包括：

采用单深度相机对所述平面辅助物的标记点进行位置跟踪；所述标记点位于所述平面辅助物的中心点位置；

采用单深度相机对所述用户手部进行整体跟踪。