[发明专利]动态摄像机校准

说明书

技术领域

本发明涉及用于校准摄像机的计算机实现的方法。更具体地，其涉及数字摄像机的“固有的”校准，即，涉及对确定其包括焦距、主点以及可选的形变参数的光学响应的参数的估计。

背景技术

本发明例如应用于增强现实(AR)的领域，其中表示虚拟对象的3D计算机生成的图像被叠加在由视频摄像机捕捉的图像的上方。为了以最现实的方式来合并虚拟的和现实的图像，需要对视频摄像机的准确的校准。实际上，AR需要定义用于渲染虚拟3D对象的虚拟摄像机。该虚拟摄像机必须尽可能地与用于捕捉在背景中被渲染的现实世界的真实摄像机密切地相匹配。由摄像机的生产商提供的数据通常是不够准确以给出满意的结果的，使其需要依靠校准。

摄像机校准全部是关于准确度的。在没有充分校准的摄像机的情况下，渲染的对象将不会看起来仿佛是真实的，并且将会破坏用户体验。

增强现实是特定所需的应用，但不是唯一需要准确的摄像机校准的应用。其他应用包括例如3D体积重建，在这种情况下摄像机通常是深度摄像机。

本发明不被限制于一个或若干指定的应用；无论何时需要视频摄像机的准确校准，本发明都可以是有用的。

用于执行摄像机校准的最广泛的技术被称为Zhang的算法(Zhang’s algorithm)并且在Z.Zhang的论文“A Flexible New Technique for Camera Calibration.”IEEE Transactions on Pattern Analysis and Machine Intelligence.Vol.22，No.11，2000，pp.1330-1334)中描述了该算法。

为了使用该技术来校准摄像机，用户必须：

1、使用激光打印机打印校准图案(通常是黑色和白色元素的正规阵列)；

2、测量打印的图案以确保其大小并未被打印机缩放

3、将图案贴到坚硬的表面(例如，坚硬的纸板、一片木板或更好的，玻璃)上，确保图案保持整齐的(例如，通过检查在纸和图案之间没有气泡)；

4、将图案放置到摄像机前并且将其四处移动以改变其方向和位置；

5、捕捉与图案的若干不同的位置和方向(“姿势”)相对应的图像；以及

6、根据以上引用的论文中详细描述的数学算法来处理图像。

使用现有的软件可以容易地由其自身实施处理步骤，但是先前的步骤是笨重的，其使得整个过程是不实用的。

首先，正确执行步骤1、2和3是冗长的，并且在创建校准图案以最大化整个校准过程的准确性期间用户必须非常小心。为了克服这个困难，已经建议使用显示在LCD(液晶显示器)上的校准图案；参见例如Zhan,Z.(2008).Camera Calibration Based on Liquid Crystal Display(LCD).The International Archives of the Photogrammetry.Remote Sensing and Spatial Information Sciences,37.

最重要的，步骤4和5经常是耗时的并且令人沮丧的，这是因为执行步骤6的校准程序通常拒绝获得的图像中的大部分，其质量证明是不够的。这可以是由于关于摄像机的图像的选择不当的定位。例如：

-图案可能离摄像机太远，这种情况下，其元素可能太小以至于不能被检测到。

-可能太接近摄像机或太向着视野的边缘移动，这种情况下，它可能不是完全可视的。此外，如果图案非常接近摄像机，其元素显得不必要的大和间隔开的，使得图案针对校准的目的是次优的。

-还可能是焦点没对准并因此模糊不清的，或由于缺少光而不足以可视的。

文档US 8106968也描述了通过检测图案的多个图像中的形变来校准摄像机的方法。

部分可视的问题可以使用指定的图案来解决，其中至少一些元素具有允许它们的识别的唯一的特征，例如，所谓的“ChArUco”图案，参见http://docs.opencv.org/3.1.0/da/d13/tutorial_aruco_calibration.html#gsc.tab＝0。

然而，没有已知的方法涉及与图案的不适当的定位相关联的其他不便，除了采用额外的图像来替换被丢弃的图像，这是耗时并且令人沮丧的。