[发明专利]用于将物理环境的视觉图像集成到虚拟实境的空间关系

说明书

本发明提供一种供物理环境中的头戴式显示器使用的方法，其包含获得所述物理环境的深度信息及俘获所述物理环境的视觉图像。所述方法还包含基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的一或多个物理对象之间的空间关系。接着基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以在所述头戴式显示器上显示所述虚拟图像及所述一或多个物理对象两者。

技术领域

本发明的方面大体上涉及虚拟实境，且特定地说，涉及将物理环境的视觉图像集成到在头戴式显示器上呈现的虚拟图像。

背景技术

虚拟实境(VR)为向用户提供沉浸式多媒体或计算机模拟环境的新兴技术。此类环境可模拟用户在虚构世界或在真实地点之后模型化的世界中的物理存在。VR技术可向用户呈现图形、音频及其它感觉增强以改进用户在虚拟环境内的体验。

然而，当今VR技术中的一些仍具有挑战性。举例来说，许多VR耳机遮挡用户对真实世界(即，物理环境)的视野。即，为了向用户呈现更具沉浸感的视觉外观，VR耳机可完全或大部分遮挡用户对除VR耳机的显示器以外的所有事物的检视。因此，在穿戴VR耳机及参与VR模拟时，用户常常被阻止对其现实世界环境进行视觉感测及与其现实世界环境交互。在穿戴VR耳机时对现实世界的视觉感测的此缺少可对用户造成若干困难及/或问题。举例来说，可阻止或至少阻碍用户尝试在计算机键盘上定向其手。在另一实例中，用户可能不能够着所要对象，例如饮料或电话。在又一实例中，用户可能不会注意到进入房间或来到其附近的另一个人。甚至，用户可甚至太晚才能够看见其将撞上墙壁。

一些常规VR系统提供跟踪用户的手且接着提供其手在VR模拟内的表示(例如，化身)的跟踪系统。然而，此类系统通常限于向用户提供与存在于VR模拟中的仅虚拟对象交互的机制，且对上文所论述问题有极少帮助。

发明内容

在一个方面中，一种供物理环境中的头戴式显示器使用的方法包含获得物理环境的深度信息及俘获物理环境的视觉图像。所述方法还包含基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系。接着基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以通过头戴式显示器显示虚拟图像及一或多个物理对象两者。

在另一方面中，一种头戴式显示器包含用于俘获物理环境的深度信息的装置及用于俘获物理环境的视觉图像的视觉摄像机。所述头戴式显示器还包含用于基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系的装置。用于基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像的装置及用于通过头戴式显示器显示虚拟图像的装置进一步包含于头戴式显示器中。所述头戴式显示器进一步包含用于将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者的装置。

另一方面涉及一种头戴式显示器。所述头戴式显示器包含视觉摄像机及显示器。所述头戴式显示器还包含至少一个处理器及耦合到所述至少一个处理器的至少一个存储器。所述至少一个处理器及所述至少一个存储器经配置以指导头戴式显示器执行以下操作：(i)获得物理环境的深度信息，其中物理环境包含一或多个物理对象；(ii)通过视觉摄像机俘获物理环境的视觉图像；(iii)基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系；(iv)基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像；(v)通过显示器显示虚拟图像；及(vi)将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者。