[发明专利]利用头戴式显示器使用立体照相机以及结构光的深度映射

说明书

一种增强现实(AR)头戴设备，包括结合立体成像与结构光(SL)以生成感兴趣区域的深度信息的深度照相机组件。深度照相机组件包括至少两个图像捕捉设备以及SL照明器并且基于通过一个或多个照相机捕捉的图像的信噪比或空间差异确定成像模式。不同成像模式与一个或多个图像捕捉设备和SL照明器的不同操作对应。深度照相机组件包括不同范围的信噪比，每个范围对应于一种成像模式，并且深度照相机组件基于与包括捕捉的图像的信噪比的信噪比的范围相关联的成像模式配置图像捕捉设备和SL照明器。

背景技术

本公开总体涉及增强现实系统或虚拟现实系统，并且更具体地，涉及用于获得局部区域的深度信息的虚拟或增强现实系统的头戴设备。

虚拟现实(VR)系统可以包括增强现实(AR)系统，可以影响在三维空间(3D)中围绕用户的环境的捕捉。然而，传统的深度照相机成像架构相对大、重、并且消耗大量的功率。例如，飞行时间(直接检测脉冲以及编码波形图)、结构光(SL)、以及立体视觉是普遍使用的用于获得场景的三维信息的照相机架构。在SL架构内，具有有已知基线距离的单个照相机以及单一的SL源的不对称照相机设计是用于捕捉三维场景信息的普遍使用的框架。在不对称照相机设计中，通过将结构光图案映射到重叠的照相机视野来提供场景的三维信息。然而，SL设计的测量结果受在被成像的局部区域中具有带内背景光级别影响。例如，在局部区域的背景光的亮度横跨量级的多个级别(比SL源的表观强度相同或更亮)的情况下，SL方案会退化(因为所关心的信号最终消失在背景光源的光子噪声极限中)。飞行时间(ToF)架构在渐增的环境亮度下经历相似的性能下降。然而，没有通过受控或不受控的环境源的至少最小的背景亮度，立体视觉无法捕捉三维场景信息。

发明内容

包括在增强现实(AR)系统或虚拟现实(VR)系统中的头戴设备包括深度照相机组件(depth camera assembly，DCA)使能在具有各种动态范围的环境光条件下的视觉信息捕捉。DCA包括多个图像捕捉设备(例如，照相机、摄影机)，被配置为捕捉围绕DCA的局部区域(也称作“局部区域”)的图像，以及结构光(SL)源，被配置为发射SL图案到局部区域上。SL图案是特定图案，诸如对称或拟随机格网或水平条。基于当投射入局部区域到表面上时的SL图案的变形，确定在局部区域内的物体的深度以及表面信息。图像捕捉设备捕捉并且记录光的波长的特定范围(即，光的“频带”)。

DCA被配置为使用一个或多个图像捕捉设备捕捉局部区域的一个或多个图像。DCA中的不同图像捕捉设备被配置为捕捉包括通过照明源投射的SL图案的部分(即，“SL元素”)的图像或捕捉在不同图像捕捉设备的视野中的局部区域的表示。在一些实施方式中，至少一组捕捉的图像包括一个或多个SL元素。

DCA在各种成像模式中运行。基于局部区域的照明条件来确定这些模式。不同成像模式对应于SL照明器与DCA的各个图像捕捉设备的不同操作。在各种实施方式中，DCA确定通过DCA的图像捕捉设备捕捉的一个或多个图像的信噪比(SNR)并且比较该SNR与通过该DCA保持的SNR的各个范围。每个SNR的范围与不同成像模式相关联。DCA基于包括所确定的SNR的SNR的成像模式范围配置SL照明器与一个或多个图像捕捉设备的操作。除SNR之外，DCA还可以确定与一个或该一个或多个图像相关联的对比度。在实施方式中，所确定的SNR与对比度都被用于确定成像模式。在一些实施方式中，所确定的SNR是对比度与SNR的组合。在另外的实施方式中，DCA也确定通过DCA的图像捕捉设备捕捉的一个或多个图像的空间差异，并且比较所确定的空间差异与保持的空间差异的范围，每个该空间差异的范围与一种成像模式相关联。DCA基于与包括所确定的SNR的SNR的范围相关联、并且与包括所确定的空间差异的空间差异的范围相关联的成像模式，配置SL照明器以及一个或多个图像捕捉设备的操作。