[发明专利]利用直射变换翘曲函数配准第一和第二图像的至少一个部分的方法

说明书

本发明涉及一种利用直射变换翘曲函数（collineation warping function）配准第一和第二图像的至少一个部分的方法。此外，本发明涉及一种包括用于实施该方法的软件代码段的计算机程序产品。

在诸如增强现实（AR）应用的计算机视觉应用中常常需要上述方法。例如，给定第一图像T为模板图像，计算机视觉领域中的很多应用要求在空间上将第二图像I，即当前摄像机图像的至少一部分与模板图像配准。范例包括全景拼合和摄像机姿态估计，例如对于视频透视增强现实应用。假设没有任何透镜畸变的完美针孔摄像机，从对应于平面表面的模板任何部分到其在当前摄像机图像中的对应位置的变换由3D平移、随后的3D旋转、最后的图像平面上的透视的投影构成。可以利用表示模板中2D点和摄像机图像中2D对应点之间的透视变换的直射变换W完整描述这种变换。

常常由可逆的（3×3）矩阵表示直射变换。取决于比例来定义矩阵，其具有八个自由度，可以写作：

W=

[p1p2p3]

[p4p5p6]

[p7p81]

直射变换定义一对一和向上翘曲（onto warping）。直射变换翘曲函数如下将来自第一图像的点x=[u，v]变换成第二图像中的点x'=[u'，v']：

u'=(p1u+p2v+p3)/(p7u+p8v+1)

v'=(p4u+p5v+p6)/(p7u+p8v+1)

这样的翘曲保持了共线性、并发性、接触度和交比（cross ratio）。每个翘曲点有两次除法，使得翘曲在计算成本方面很昂贵。

在对应矩阵的项p7和p8等于零时，直射变换翘曲被称为仿射翘曲。因此直射变换能够被表示为矩阵A=

[p1p2p3]

[P4p5p6]

[001]因此，仿射翘曲函数如下将来自第一图像的点x=[u，v]变换成第二图像中的点x'=[u'，v']：

u'=p1u+p2v+p3

v'=p4u+p5v+p6

注意，在这种情况下，用于仿射翘曲运算的次数低于标准直射变换翘曲函数的运算次数。特别地，由于在仿射翘曲函数中没有除法，所以在计算能力有限的装置上要快得多。

此外，仿射翘曲保持了平行性和距离比等。

在采集第一和第二图像，使得图像平面平行于特定平面表面时，那么对应于该平面表面的直射变换翘曲为仿射翘曲。

在现有技术中，本领域中公开了以下参考文献：

[1]C.Steger.Occlusion,clutter,and illumination invariant object recognition.Int.Arc.Photo.Remote Sensing,XXXIV,part3A:345-350,2002。

[2]B.Lucas and T.Kanade.An iterative image registration technique with an application to stereo vision.In Proceedings of the International Joint Conference on Artificial Intelligence,1981。

[3]Wonwoo Lee et al.Point-and-Shoot for Ubiquitous Tagging on Mobile Phones.Proc.International Symposium on Mixed and Augmented Reality 2010。

[4]Myung Hwangbo,Jun-Sik Kim,and Takeo Kanade.Inertial-Aided KLT Feature Tracking for a Moving Camera.The2009IEEE/RSJ International Conference on Intelligent Robots and Systems。

[5]Lobo,J.and Dias,J.Vision and Inertial Sensor Cooperation Using Gravity as a Vertical Reference.IEEE Transactions on Pattern Analysis andMachine Intelligence.Volume:25Issue:12,pages1597-1608。