[发明专利]用于与外围设备的混合现实交互的方法和系统

权利要求书

1.一种提供混合现实MR交互的方法，包括：

在第一时间处并使用用户的头戴式显示器HMD的摄像机捕获所述用户与物理对象的物理交互的第一图像；

将所述第一图像存储在帧缓存器处；

在所述第一时间和第二时间之间测量所述头戴式显示器相对于所述物理对象的运动；

基于所述头戴式显示器的运动的测量、所述头戴式显示器的第一位置以及所述物理对象的第二位置确定移动距离和移动方向；

基于所述移动距离和所述移动方向在所述帧缓存器处移动所述第一图像以生成第二图像；

基于所述第二图像生成涉及所述用户的虚拟交互的合成图像；以及

在所述第二时间处经由所述头戴式显示器并基于所述合成图像向所述用户显示所述虚拟交互以代替所述物理交互。

2.根据权利要求1所述的方法，其中，所述帧缓存器包括第一缓存区和第二缓存区；

其中，所述第一图像的数据在所述第一缓存区和所述第二缓存区之间划分；

其中，基于存储在所述第一缓存区中的所述第一图像的部分数据生成所述第二图像；以及

其中，移动所述帧缓存器中的所述第一图像包括改变所述帧缓存器内的所述第一缓存区的位置。

3.根据权利要求1所述的方法，其中，所述帧缓存器包括第一缓存区和第二缓存区；

其中，所述第一图像的数据在所述第一缓存区和所述第二缓存区之间划分；

其中，基于存储在所述第一缓存区中的所述第一图像的部分数据来生成所述第二图像；以及

其中，移动所述帧缓存器中的所述第一图像包括：相对于所述帧缓存器内的所述第一缓存区的位置来改变所述第一图像的数据的存储位置。

4.根据权利要求1所述的方法，其中，所述测量包括：所述头戴式显示器的角速度和所述头戴式显示器的旋转方向。

5.根据权利要求4所述的方法，还包括：

基于所述角速度、所述旋转方向以及所述第一时间和所述第二时间之间的时间差来确定旋转角度；

其中，基于所述旋转角度来确定所述移动距离和所述移动方向。

6.根据权利要求5所述的方法，还包括：基于估计所述第一时间和所述第二时间之间的延迟来确定所述时间差。

7.根据权利要求5所述的方法，其中，所述第一图像包括显示时变图案的显示装置的图像；并且

其中，所述方法还包括：

从所述第一图像中识别所述图案；以及

基于所识别的图案来确定所述第一时间。

8.根据权利要求5所述的方法，其中，所述第一图像包括由所述物理对象发射的时变光图案；并且

其中，所述方法还包括：

从所述第一图像中识别所述光图案；以及

基于所识别的光图案来确定所述第一时间。

9.根据权利要求5所述的方法，其中，基于确定所述头戴式显示器的所述摄像机的快门打开时的时间来确定所述第一时间。

10.根据权利要求5所述的方法，其中，基于确定所述第一图像被存储在所述帧缓存器中时的时间来确定所述第二时间。

11.根据权利要求5所述的方法，其中，基于从附接至所述物理对象的光学传感器接收的信息来确定所述物理对象的所述第二位置。

12.根据权利要求5所述的方法，其中，基于从光学传感器接收的信息来确定所述物理对象的所述第二位置，所述光学传感器接收来自附接至所述物理对象的光发射器的光。

13.根据权利要求5所述的方法，其中，基于检测来自多个光发射器的定向光束和所述多个光发射器的预定位置来确定所述头戴式显示器的所述第一位置。