[发明专利]产生虚拟图像和真实图像的合成图像

说明书

技术领域

本发明涉及产生真实图像和虚拟图像的合成图像如计算机图形图像(CG图像)的方法、装置和程序。

背景技术

一种被称为混合实境(MR)的技术提供包括混合了真实空间图像(即背景)的CG图像的混合的真实性，根据该技术，用户能够感觉好像一个虚拟的对象存在于真实的空间中。该MR技术可用于通信、交通、娱乐及其他各种工业领域。

为了平滑合成虚拟空间和真实空间的处理并防止用户感觉到任何不协调，在MR技术中以下的一致性是所希望的：

(1)在保持正确的空间关系的同时混合真实空间的对象和虚拟空间的对象的几何一致性；

(2)自然混合真实空间的光源和虚拟空间的光源的光学一致性；

(3)均衡真实空间的时间和虚拟空间的时间的时间一致性。

为了实现这些一致性，非常重要的是要正确识别真实空间的信息和状态并且准确地将该真实空间的信息输入到虚拟空间。

已经提出了各种常规系统用来解决光学一致性的问题(即上述一致性中的一种)。

文献1(I.Sato，y.Sato，and K.Ikeuchi，“Acquiring a radiancedistribution to superimpose virtual objects onto a real scene”，IEEETransactions on Visualization and Computer Graphics，Vol.5，No.1，PP.1-12，January-March 1999)中讨论的系统通过一个鱼眼摄像机获得了一种真实空间的全向图像，根据所获得的全向图像来估计真实环境中的光源的位置信息，并将该估计的光源的位置信息反映在一个虚拟空间中。

另外，文献2(M.Kanbara，T.Iwao，and N.Yokoya，“ShadowRepresentation for Augmented Reality by Dynamic Shadow MapMethod”，a lecture memoir for an image recognition andcomprehension symposium(MIRU2005)，pp.297-304，July 2005)中讨论的系统实现了根据一个三维标记器对光源环境(真实世界的光源位置)的实时估计，该标记器结合了一个二维方形标记器和放置在该标记器中央的一个镜面球，该系统还根据该估计的位置来布置虚拟光源。

根据文献2，该系统根据二维方形标记的位置和方向计算出观察点和虚拟对象间的相对位置。然后，为了估计一个光源环境，该系统使得安装在一个视频观察头戴显示器(HMD)上的摄像机能够根据所计算的相对位置捕获反映在该镜面球(即镜面球的高亮区域)中的该真实环境的光源。

文献1中讨论的系统可以在单次图像捕获操作中获得真实环境的光源信息。但是，该系统不能响应于照明环境的变化执行光源环境的实时估计，也不能反映虚拟空间中的照明环境的变化。

文献2中讨论的系统执行对光源信息的实时估计，也能反映虚拟环境的估计结果。但是，用户需要持续地捕获视野中的二维标记器，还需要事先预备复杂的标记器(即包括二维标记器和镜面球的三维标记器)。

发明内容

人们希望响应于环境光源的变化产生一种真实空间图像和虚拟图像的合成图像，而无需使用特殊的设备，如包括一个镜面球的三维标记。

本发明的第一方面提供了一种产生合成图像的方法，其中真实空间的图像与虚拟对象的图像进行合成。具体而言，本发明提供一种提供合成图像的方法，其中一个真实空间的图像与一个虚拟对象的虚拟图像被合成，该方法包括以下步骤：接收多个捕获图像的图像数据，所述多个捕获图像包括与该真实空间的各个不同部分有关的多个图像；根据所接收的所述多个捕获图像的图像数据产生模拟图像数据，其代表覆盖该真实空间的至少一个预定部分的一个图像；根据该模拟图像数据估计与该真实空间有关的光源信息；根据所估计的与该真实空间有关的光源信息产生虚拟图像数据，其代表所述的虚拟图像，所述产生虚拟图像数据包括管理与该虚拟对象有关的光源信息；在接收到与该真实空间的那一部分有关的新捕获的图像的图像数据之后，更新该模拟图像数据，并根据更新后的模拟图像数据更新所估计的与该真实空间有关的光源信息，并根据更新后的与该真实空间有关的光源信息更新与该虚拟对象有关的光源信息，并重新生成该虚拟图像数据。