[发明专利]具有人工现实内容的变焦显示的人工现实系统

权利要求书

1.一种人工现实系统，包括：

第一图像捕获设备，所述第一图像捕获设备被配置为捕获表示用户的物理环境的真实世界图像数据；

头戴式显示器(HMD)，所述HMD被配置为输出人工现实内容，所述头戴式显示器包括：

一组第二图像捕获设备，所述一组第二图像捕获设备被配置为捕获指示所述用户的注视的焦点的图像数据；和

变焦显示器，所述变焦显示器具有基于所述用户的所述焦点可修改的焦距；和

深度引擎，所述深度引擎被配置为：

基于所述真实世界图像数据和与所述真实世界图像数据相关联的深度数据来生成所述用户的所述物理环境的三维(3D)场景；以及

基于所述用户的所述焦点来生成人工现实内容作为对所述物理环境的所述3D场景的覆盖，以显示在所述HMD的所述变焦显示器上。

2.根据权利要求1所述的系统，其中所述第一图像捕获设备包括至少一个直通相机，所述至少一个直通相机被配置为以彩色并且以高分辨率捕获所述真实世界图像数据。

3.根据权利要求2所述的系统，其中所述HMD包括被配置为执行所述深度引擎的一个或多个处理器，其中所述一个或多个处理器位于接近所述至少一个直通相机处。

4.根据权利要求1、2或3所述的系统，其中所述HMD还包括被配置为生成所述深度数据的深度传感器，并且其中为了生成所述物理环境的所述3D场景，所述深度引擎被配置为：

使用所述深度数据来生成真实世界场景的3D网格；以及

将所述真实世界图像数据中的至少一部分覆盖到所述真实世界场景的所述3D网格上。

5.根据权利要求4所述的系统，其中所述真实世界图像数据表示真实世界图像数据流，其中所述深度数据表示深度数据流，并且其中为了生成所述人工现实内容，所述深度引擎还被配置为：

基于所述HMD相对于所述真实世界场景的所述3D网格的位置和取向，使用所述真实世界图像数据流和所述深度数据流近实时地生成所述人工现实内容。

6.根据权利要求1至5中任一项所述的系统，其中所述一组第二图像捕获设备包括：

第一眼睛跟踪相机，所述第一眼睛跟踪相机被配置为捕获第一组图像数据，所述第一组图像数据包括所述用户的第一瞳孔相对于第一组参考点的位置；和

第二眼睛跟踪相机，所述第二眼睛跟踪相机被配置为捕获第二组图像数据，所述第二组图像数据包括所述用户的第二瞳孔相对于第二组参考点的位置，并且其中所述深度引擎被配置为：

基于所述第一瞳孔相对于所述第一组参考点的所述位置和所述第二瞳孔相对于所述第二组参考点的所述位置来确定所述用户的所述焦点；并且优选地还包括注视跟踪器，所述注视跟踪器被配置为：

在一段时间内跟踪所述第一瞳孔相对于所述第一组参考点的位置；

在所述一段时间内跟踪所述第二瞳孔相对于所述第二组参考点的位置；

基于在所述一段时间内所述第一瞳孔相对于所述第一组参考点的位置的移动，确定所述第一瞳孔相对于所述第一组参考点的位置的预计未来移动；以及

基于在所述一段时间内所述第二瞳孔相对于所述第二组参考点的位置的移动，确定所述第二瞳孔相对于所述第二组参考点的位置的预计未来移动，

其中所述深度引擎还被配置为基于所述第一瞳孔的位置的所述预计未来移动和所述第二瞳孔的位置的所述预计未来移动来确定所述用户的预计未来焦点。

7.根据权利要求1至6中任一项所述的系统，其中所述深度引擎还被配置为：

近实时地确定所述变焦显示器的所述焦距以匹配所述用户的所述焦点；以及

指导所述变焦显示器相对于透镜移动以达到所确定的焦距；并且优选地，其中所述HMD还包括电机，所述电机被配置为控制所述变焦显示器相对于所述透镜的位置，并且其中为了指导所述变焦显示器移动，所述深度引擎被配置为：

控制所述电机以便将所述变焦显示器放置在距所述透镜一定距离处，以达到所确定的焦距。