[发明专利]一种基于图像重投影的视图合成方法

说明书

技术领域

本发明涉及基于图像的绘制技术领域，具体来讲，涉及一种基于图像重投影的视图合成方法。

背景技术

基于图像的绘制(image based rendering，IBR)是近十年来新兴的一门学科。它能够利用一系列已知的参考图像合成新视点的虚拟视图。与传统的基于三维模型的绘制(3D Model-Based Rendering，MBR)技术相比，它具有不需要复杂的3维场景建模、绘制速度快、对计算机要求不高等优点。但是单纯利用已知图像合成虚拟视图，所需处理的图像数据是非常庞大的，例如IBR中的光场绘制技术。而近几年发展起来的图像重投影技术由于引入了摄像机内、外部参数以及深度信息，降低了处理的数据量、加快了绘制速度，是IBR中比较有发展前途的一门技术。

图像重投影是指通过对任意视点的参考图像(reference image)进行投影来产生新的图像。由于图像重投影能够改变已生成的图像的视线方向，因此它在多视点图像的实时渲染、视图变形(view morphing)、图像拼接(image mosaic)等领域得到了应用。目前多数文献讨论一般情况下的图像重投影，处理起来比较复杂。如2007年International Symposium on Intelligent Signal Processing andCommunication Systems会议论文集中“ARBITRARY VIEW GENERATIONBASED ON DIBR”一文公开的视图合成方法。由于在实际应用中很多情况下摄像机只绕光心旋转，例如视频监控设备及某些云台设备的摄像机通常只绕光心旋转，因此研究这类情况的视图合成具有重要的现实意义。

发明内容

本发明的目的在于降低现有技术的复杂性，提供一种基于图像重投影的视图合成方法，该方法适用于摄像机绕光心旋转时虚拟视图的合成。

为了达到上述发明目的，本发明基于图像重投影的视图合成方法包括以下步骤：

(1)、两台摄像机在不同视点拍摄同一场景得到两幅参考图像；

(2)、利用第一幅参考图像对应的摄像机内部参数矩阵和目标图像的旋转矩阵计算出从第一幅参考图像到目标图像的单应矩阵；

(3)、利用单应矩阵将第一幅参考图像投影到目标图像区域，从而合成目标图像的一部分；

(4)、确定遍历第二幅参考图像像素的顺序；

(5)、根据步骤(4)确定的遍历顺序遍历第二幅参考图像的像素，利用三维图像变换方程组将这些像素投影到目标图像区域，得到目标图像的剩余部分，合成了目标图像，即摄像机绕光心旋转的虚拟视图。

作为进一步的改进，步骤(5)所述的将第二幅参考图像的像素点投影到目标图像区域，如果该像素点被投影到了步骤(3)所合成的目标图像部分的区域，则对投影像素点不作任何处理，否则将第二幅参考图像中的该像素点值拷贝到投影像素点。

本发明的特点是将目标视图分为两部分来合成，其中一部分的合成最大限度地利用了单应矩阵的优良性质，提高了合成视图的质量。同时，另一部分的合成采用了三维图像变换技术生成目标图像的剩余部分，从而实现了摄像机绕光心旋转的虚拟视图的合成。

附图说明

图1是本发明一具体实施方式的参考图像与目标图像的投影关系示意图；

图2是图1所示第一副参考图像到目标图像的视图合成过程示意图；

图3是图2所示第二副参考图像到目标图像的视图合成过程示意图；

图4是图3所示目标图像的空洞填补示意图。

具体实施方式

为更好地理解本发明，下面结合具体实施方式对本发明进行更为详细描述。在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。

图1是本发明一具体实施方式的参考图像与目标图像的投影关系示意图。