[发明专利]混合现实或虚拟现实相机系统

说明书

一种用于MR/VR系统的包括二维相机阵列的头戴式显示器(HMD)，该二维相机阵列捕获场景的相应部分的图像。该相机沿着球面表面定位，使得该相机具有相邻视场。该相机的入射光瞳位于用户的眼睛处或附近，而该相机也在该传感器处形成优化图像。本公开还描述了用于减少阵列中相机的数量的方法，以及用于减少从该阵列读取并且由流水线处理的像素的数量的方法。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。混合现实(MR)涵盖了从将计算机生成的信息(称为虚拟内容)与真实世界的视图相结合以增强或向用户的真实环境视图添加虚拟内容的增强现实(AR)系统到将真实世界对象的表示与计算机生成的三维(3D)虚拟世界的视图相结合的增强虚拟(AV)系统的频谱。因此，虚拟现实系统的模拟环境和/或混合现实系统的混合环境可用于为多种应用提供交互式用户体验，诸如将虚拟内容添加到观察者环境的实时视图的应用、生成3D虚拟世界的应用、与虚拟培训环境进行交互、游戏、远程控制无人机或其他机械系统、查看数字媒体内容、与互联网交互、探索虚拟景观或环境等。

发明内容

本公开描述了可在混合现实(MR)或虚拟现实(VR)系统中使用的用于视频透视头戴式显示器(HMD)的场景相机的各种实施方案。在常规HMD中，一个或多个场景相机可安装在HMD的前方。然而，场景相机的入射光瞳以及因此视角(POV)通常基本上偏移用户眼睛的POV并且因此不同于用户眼睛的POV。本公开描述了场景相机配置的实施方案，该场景相机配置通过使相机的入射光瞳朝向用户眼睛移动来至少部分地校正相机的视角(POV)以匹配用户的POV。

在一些实施方案中，HMD包括捕获用户前方的真实世界场景的相应部分的图像的二维小外形相机阵列(例如，一个阵列用于左眼，并且第二阵列用于右眼)。相机沿着球面曲线或表面定位，使得相机具有不重叠的相邻视场(FOV)。为了实现用户视角的更准确表示，相机的光学器件被配置为使得阵列中的相机的入射光瞳位于在图像传感器处以及在用户眼睛处或附近形成的相机的图像平面的后面，同时相机也在传感器处形成优化图像。因此，每个相机阵列从与用户的相应眼睛基本上相同的视角捕获场景的视图。

阵列中的每个相机被配置为共同优化用户眼睛处的入射光瞳平面和相机传感器处的图像平面。在一些实施方案中，每个相机从物侧到像侧依次包括：第一透镜组，该第一透镜组包括一个或多个透镜元件；孔径光阑(例如，“针孔”孔径光阑)；第二透镜组，该第二透镜组包括一个或多个透镜元件；和传感器。可形成(例如，切割或“切块”)第一透镜组中的透镜元件，使得相机在阵列中适配在一起，其中在第一透镜组中的透镜之间具有最小间隙或没有间隙。

为了针对每只眼睛捕获足够宽的视场(FOV)(例如，在水平轴线和竖直轴线上90度至140度)，可针对每只眼睛使用二维阵列，该二维阵列包括许多小外形相机，这些小外形相机各自具有相对窄的FOV(例如，10度至15度)，其中相机被布置和配置为使得相邻相机的FOV相邻，而在相机之间无视差。因此，每个阵列可包括许多相机(例如，每只眼睛50至100个相机)。此外，这些相机中的每个相机的传感器捕获多像素图像。在非限制性示例中，传感器可被配置为捕获32每度像素(PPD)，并且每个相机可覆盖12×12度的FOV。在该示例中，每个相机捕获包括约150,000个像素的图像。因此，由每个相机阵列捕获的像素的总数可以较大(在该示例中，7兆像素至15兆像素，这取决于阵列中的相机的数量)。