[发明专利]用于外部校准相机和衍射光学元件的系统和方法

说明书

多个相机被耦合到相机装置。多个衍射光学元件(DOE)被耦合到DOE支撑。每个相机被定位在DOE的眼盒中，并且当相机被定位在相对于DOE的第一位置、第二位置和第三位置时捕获图像。每个相机在第一位置、第二位置和第三位置中的每个位置捕获三个图像。图像被传输到耦合到相机设备的处理器。对于每个图像，所述处理器识别数据对，每个数据对包括所述图像中的强度峰的像素坐标和对应于所述强度峰的所述衍射光学元件产生的虚拟光源，以及使用每个图像的识别的数据对确定所述相机的外部参数。

相关申请的交叉引用

本申请要求2017年11月15日提交的题为“System And Methods For ExtrinsicCalibration Of Cameras And Diffractive Optical Elements(用于外部校准相机和衍射光学元件的系统和方法)”的第62/586691号美国临时专利申请和2017年11月17日提交的第62/588239号美国临时专利申请，标题为“System And Methods For ExtrinsicCalibration Of Cameras And Diffractive Optical Elements(用于外部校准相机和衍射光学元件的系统和方法)”的优先权，通过引用将其全部公开内容纳入以用于所有目的。

背景技术

现代计算和显示技术促进了所谓“虚拟现实”或“增强现实”体验系统的开发，其中数字生成的图像或其部分以看起来是真实的或可被视为真实的方式在可穿戴设备中被呈现给用户。虚拟现实或“VR”场景典型地涉及数字或虚拟图像信息的呈现，而对其他实际的真实视觉输入没有透明度；增强现实或“AR”场景典型包括数字或虚拟图像信息的呈现，作为对用户周围实际世界可视化的增强。

尽管在AR和VR系统中取得了进展，但本领域仍需要改进与AR和VR系统中的相机校准相关的方法和系统。

发明内容

本发明的实施例通常涉及与相机的内部校准同时或同步或在其之后的多个相机的外部校准。多个衍射光学元件(DOE)可用于相机的外部和/或内部校准。在一些实施例中，DOE的外部参数也可与相机的外部参数一起确定。

各种实施例提供了用于确定多个相机的外部参数的系统。该系统包括多个衍射光学元件、多个相机和耦合到所述多个相机以从所述多个相机接收图像数据的处理器。所述多个相机可以耦合到包括至少一个支撑梁的第一支撑系统。所述多个衍射光学元件可耦合到包括至少一个支撑梁的支撑系统。当所述多个相机相对于所述多个衍射光学元件被定位在第一位置、第二位置和第三位置时，所述多个相机中的每一个被定位在所述多个衍射光学元件中的每一个的眼盒中。当比定位在所述第一位置、所述第二位置和所述第三位置中的每一个时，所述多个相机中的每一个捕获一个图像。所述多个图像包括每个相机捕获的至少三个图像，每个图像对应于所述第一位置、所述第二位置和所述第三位置中的一个。所述处理器存储可执行指令，当被所述处理器执行时，所述可执行指令使所述处理器：从所述多个相机接收多个图像，对于每个图像，识别数据对，每个数据对包括所述图像中的强度峰的像素坐标和对应于所述强度峰的所述衍射光学元件产生的虚拟光源，以及使用为每个图像识别的数据对来确定所述多个相机的外部参数。所述处理器还可以存储可执行指令，当被所述处理器执行时，该可执行指令使得所述处理器使用在第一位置、第二位置和第三位置中的每一个位置处的每个图像的识别数据对来确定多个衍射光学元件的外部参数。

在一些实施例中，所述处理器可进一步存储可执行指令，在被所述处理器执行时所述可执行指令使所述处理器，与确定所述多个相机的所述外部参数同时或同步地确定所述多个相机的内部参数。所述内部参数包括相机焦距、主点和畸变系数中的一个或多个。