[发明专利]外围设备的视觉跟踪

说明书

公开了用于执行手持设备相对于可穿戴设备的定位的技术。诸如惯性测量单元(IMU)之类的被安装在手持设备上的至少一个传感器可以获得指示手持设备相对于世界的运动的手持数据。被安装在手持设备或可穿戴设备上的成像设备可以捕获包含被固定到另一设备的若干基准点的基准点图像。确定图像中包含的基准点数量。基于基准点数量，根据第一操作状态、第二操作状态或第三操作状态基于图像和手持数据而更新手持设备相对于可穿戴设备的位置和取向中的至少一者。

相关申请的交叉引用

本申请主张2018年3月7日提交的名称为“VISUAL TRACKING OF PERIPHERALDEVICES(外围设备的视觉跟踪)”的美国临时专利申请No.62/640,009和2018年3月7日提交的名称为“VISUAL TRACKING OF PERIPHERAL DEVICES(外围设备的视觉跟踪)”的美国临时专利申请No.62/640,299的优先权，出于所有目的，这两个申请的全部公开内容在此通过引用并入本文中，如同在本文中完全阐述一样。

背景技术

现代计算和显示技术促进了所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以看起来是或可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现而对于其它实际的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现作为对用户周围的实际世界的可视化的增强。

尽管在这些显示技术中已经取得了进步，但是本领域仍需要与增强现实系统(尤其是显示系统)相关的改进的方法、系统和设备。

发明内容

本发明一般地涉及外围设备的定位(位置、取向和/或距离)。更具体地说，本发明的实施例提供了用于相对于可穿戴设备定位手持设备的系统、设备和方法。尽管本发明的一些部分参考增强现实(AR系统)进行了描述，但是本公开适用于各种应用。

根据本发明的第一方面，提供了一种执行手持设备相对于可穿戴设备的定位的方法。所述方法包括通过被安装在所述手持设备上的至少一个传感器获得指示所述手持设备相对于世界的运动的手持数据。在一些实施例中，获得所述手持数据包括通过被安装在所述手持设备上的惯性测量单元(IMU)检测所述手持设备的线性加速度和旋转速度。在一些实施例中，获得所述手持数据包括通过被安装在所述手持设备上的手持相机捕获包含位于所述手持设备周围的一个或多个特征的世界图像。所述方法可以进一步包括通过被安装在所述可穿戴设备上的可穿戴相机获得指示所述手持设备相对于所述可穿戴设备的运动的基准数据(fiducial data)。在一些实施例中，获得所述基准数据包括通过所述可穿戴相机捕获包含若干发光二极管(LED)的基准点图像(fiducial image)，所述若干发光二极管(LED)被固定到在所述手持设备上固定的多个LED的手持设备。

所述方法可以进一步包括确定所述基准点图像中包含的LED的数量。所述方法可以进一步包括响应于确定所述LED的数量等于或大于3，根据第一操作状态仅基于所述基准数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。所述方法可以进一步包括响应于确定所述LED的数量等于1或2，根据第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。所述方法可以进一步包括响应于确定所述LED的数量等于0，根据第三操作状态仅基于所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。