[发明专利]低电力半无源相对六自由度跟踪

说明书

提供了一种用于跟踪诸如智能手表或手持控制器的外部设备相对于头戴式显示器(HMD)设备的位置和定向的系统。外部设备的已知屏幕状态，和/或外部设备上的有源标记和无源标记的组合，可以由HMD的点跟踪相机检测以收集外部设备相对于HMD的位置数据。可以从外部设备和/或HMD的惯性测量单元(IMU(s))收集外部设备相对于HMD的加速度和/或定向数据。位置数据与由IMU收集的数据的融合可以允许相对于HMD跟踪外部设备。

相关申请的交叉引用

本申请是2021年9月24日提交的题为“LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING(低电力半无源相对六自由度跟踪)”的美国申请No.17/448,768的继续申请并要求其优先权，该申请是2020年10月9日提交的题为“LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING(低电力半无源相对六自由度跟踪)”的美国申请No.16/949,027的继续申请并要求其优先权，该申请是2020年5月18日提交的题为“LOW-POWER SEMI-PASSIVE RELATIVE SIX-DEGREE-OF-FREEDOM TRACKING(低电力半无源相对六自由度跟踪)”的国际专利申请No.PCT/US20/70057的部分继续申请并要求其优先权，上述专利申请的公开内容以引用方式整体并入本文。

技术领域

本申请大体上涉及增强和/或虚拟现实环境中的电子设备的检测和跟踪。

背景技术

虚拟现实(VR)系统或增强现实(AR)系统或混合现实(MR)系统可以利用各种不同类型的电子设备来生成并呈现虚拟内容、提供与虚拟内容的用户交互等等。例如，用户可以通过头戴式设备(包括显示器、眼镜或护目镜)、外部电子设备(诸如手持设备、腕戴式设备等)和其它此类电子设备在VR/AR/MR虚拟环境中体验虚拟内容并与之交互。电子设备的延长操作时间，特别是当使用电力在一定程度上受约束的电子设备与虚拟内容进行用户交互时，可以增强用户体验。

发明内容

在一个一般方面，一种系统包括头戴式显示器(HMD)，包括：相机；控制器，所述控制器控制HMD操作；以及与所述HMD配对的外部设备，所述外部设备包括接口设备。所述HMD的控制器可以被配置成基于所述外部设备的已知屏幕状态来确定所述外部设备的位置，所述外部设备的已知屏幕状态是由于所述HMD和所述外部设备的配对状态而导致的，其中当所述外部设备在所述HMD的相机的视场内时，所述外部设备的已知屏幕状态能够由所述HMD的相机检测。

在一些实现方式中，所述HMD的控制器被配置成控制所述HMD的显示设备，使得响应于检测到所述外部设备的已知屏幕状态和确定出所述外部设备的位置，使得所述HMD显示的虚拟内容与所述外部设备的接口设备对准。

在一些实现方式中，所述HMD的控制器被配置成：基于在所述HMD的相机的视场内检测到所述外部设备的已知屏幕状态来检测所述外部设备的位置数据；将所述位置数据与从所述外部设备接收到的加速度数据或定向数据中的至少一个进行组合；并且基于所组合的加速度数据或定向数据中的至少一个与位置数据，确定所述外部设备相对于所述HMD的六自由度(6DOF)位置。所述HMD的控制器可以被配置成控制所述HMD的显示设备的操作，以在与所述外部设备的所确定的6DOF位置相对应的位置和定向处，在增强现实环境中显示虚拟内容。所述HMD的控制器可以被配置成控制所述HMD的显示设备，使得在所述外部设备保持在所述HMD的相机的视场内时，使所述HMD显示的所述虚拟内容维持与所述外部设备的接口设备的6DOF位置对准。所述HMD的控制器可以被配置成控制所述HMD的显示设备，使得由所述HMD显示的所述虚拟内容的位置和定向响应于所述外部设备的接口设备的位置和定向的对应变化而改变。在一些实现方式中，所述HMD的控制器被配置成控制所述HMD的显示设备，从而响应于在所述外部设备的接口设备处检测到的输入来显示虚拟内容。