[发明专利]相机固有校准

说明书

实施例提供了用于使用双侧衍射光学元件(DOE)的一个或多个相机校准的图像显示系统和方法。更具体而言，实施例涉及使用单个图像确定一个或多个相机的固有参数，该单个图像使用双侧DOE获得。双侧DOE具有在第一表面上的第一图案，以及第二表面上的第二图案。第一图案和第二图案中的每一者都可以通过重复子图案来形成，重复子图案在每个表面上平铺时被布线。双侧DOE上的图案被形成为使得由DOE形成的图像图案的图像上的中央强度峰的亮度减少到预定量。

相关申请的交叉引用

本申请要求于2020年6月16日提交的美国临时专利申请号为63/039,910，标题为“CAMERA INTRINSIC CALIBRATION”(“相机固有校准”)的优先权权益，该专利申请的全部内容通过引用并入本文用于所有目的。

背景技术

现代计算和显示技术已促进了所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中将数字产生的图像或其部分以它们看起来是真实的或者可以感知为真实的方式在可穿戴装置中呈现给用户。虚拟现实或“VR”场景通常涉及在对其他实际现实世界视觉输入没有透明度的情况下呈现数字或虚拟图像信息；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。

可穿戴装置可以包括增强和/或虚拟现实眼镜。相机可以耦合到眼镜。为了在增强和/或虚拟现实眼镜上查看现实世界对象的实际位置，需要对相机进行校准。校准相机可包括确定相机的固有参数。固有参数代表从3-D相机坐标到2-D图像坐标的投射转换。固有参数可包括焦距(f_x，f_y)、主点和(一个或多个)失真系数。

因此，相机校准可估计相机的镜头和图像传感器的参数。确定的参数可用于校正镜头失真、测量世界单位中对象的尺寸、或确定相机在3-D场景重建中的场景中的位置。

事实证明，人类的视觉感知系统非常复杂，并且产生促进舒适、感觉自然、丰富呈现的虚拟图像元素以及其他虚拟或现实世界图像元素的VR、AR或混合现实“MR”技术是有挑战性的。本文公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。

发明内容

实施例通常涉及图像显示系统和用于显示系统校准的方法。实施例提供了相机固有校准方法，该方法基于使用由双侧衍射光学元件(DOE)形成的光图案的单个图像。在双侧衍射光学元件的每个表面上形成的光栅图案被选择为将图像上的中央强度峰的亮度降低到预定量(例如，从激光源发出的激光束的0.5％至1.6％到达由DOE形成的零级虚拟光源。

实施例提供了一种用于确定多个相机的固有参数的系统。该系统包括多个相机、多个准直器组件以及与多个相机耦接以接收来自多个相机的图像数据的处理器。每个相机放置在多个准直器组件中的一个的前面。每个准直器组件包括双侧衍射光学元件。在双侧衍射光学元件的每个表面上形成光栅图案。处理器存储可执行指令，该可执行指令在由处理器执行时导致处理器针对多个相机中每个相机执行以下步骤：从相机接收图像，识别数据对，以及使用针对该图像的识别的数据对确定相机的固有参数。在双侧衍射光学元件的每个表面上形成的光栅图案被选择为将图像上的中央强度峰的亮度降低到预定量。每个数据对包括图像上的强度峰的像素坐标以及由双侧衍射光学元件形成的与强度峰相对应的虚拟光源。

实施例进一步提供了一种用于确定多个相机的固有参数的方法。该方法包括提供多个相机和多个准直器组件。每个准直器组件包括双侧衍射光学元件。在双侧衍射光学元件的每个表面上形成光栅图案。该方法进一步包括将多个相机放置在多个准直器组件的前面。每个相机放置在多个准直器组件中的一个的前面。对于多个相机中的每个相机，使用计算装置执行以下步骤：从相机接收图像，识别数据对，以及使用针对该图像的识别的数据对确定相机的固有参数。在双侧衍射光学元件的每个表面上形成的光栅图案被选择为将图像上的中央强度峰的亮度降低到预定量。每个数据对包括图像上的强度峰的像素坐标以及由双侧衍射光学元件形成的与强度峰相对应的虚拟光源。