[发明专利]用于渲染受影响的像素的系统和方法

说明书

对相关申请的交叉引用

本申请要求在2012年5月24日提交、发明名称为“RENDERING AFFECTED PIXELS”、被本申请的受让人拥有的美国临时专利申请系列号61/651361的优先权的权益，通过引用将其全部内容合并于此。

背景技术

以3D呈现的电影正变得极其普遍。一种实现三维图像的方式是通过立体摄影术。在立体摄影术中，捕获两个图像并把它们呈现给用户，一个图像来自左面的照相机并用于观察者的左眼，一个图像来自右面的照相机并用于观察者的右眼。立体摄影术是最早的向观察者产生3D图像的方式之一。

然而，在创建两个图像而不仅仅是一个图像中，立体摄影术会导致处理功率和时间上的明显成本。事实上，通过当前技术并对于某些特别复杂的拍摄，渲染单个帧可能需要几百个小时，并且对于第二视点或照相机使该时间加倍是负担不起的。

因此，开发了重投影（re-projection）技术以通过如下方式将所渲染的眼睛的像素颜色值再次用于另一眼睛，从而创建3D图像，所述方式是将像素颜色值映射到由包含希望的眼内距离的场景几何图形（geometry）所确定的用于第二观察的适当点。在一种这样的技术中，从深度图（depth map）创建网格并在渲染包（package）中渲染该网格。从渲染深度图的照相机的视点使深度图多边形化，并且向网格分配UV坐标。然后将网格纹理化（textured），并随后对于立体图（stereographic）图像可接着从任何其它视点或观察角度（例如，从右眼）渲染网格。

然而，当前的这种重投影技术慢并且会导致不希望的结果。

另外，为了解决伪像，当前的重投影技术依赖于伸展或压缩像素（即，在伸展的区域中填充与邻居像素相同颜色的像素，或者在压缩的情况下去除像素），这可导致不希望的伪像或者甚至保持于重投影的图像上的孔。因此，需要对于这样的重投影的改进方法。

在相关方面中，对于原本没有利用立体视法的图像或电影希望维度化的情况，需要一种方便的方式来创建用于第二眼睛的相应图像，以得到用于3D观察的立体对。

发明内容

在一个方面中，本发明针对用于使用深度图和立体照相机对来迅速地从现有图像创建新颖视图的系统和方法。该系统和方法使用深度图和眼内间隔以产生差异图并然后产生畸变图，该畸变图被用于创建新的视图。不存在对于构建网格或其它几何图形或者利用渲染器的需要。

在又一方面中，本发明针对用于解决重投影图像中的伪像的系统和方法。在一种实现方式中，计算机系统渲染像素组的像素，该像素组被识别为在创建第二图像（例如，第一图像的立体图像）时不希望地受到重投影的影响，该第二图像与第一图像一起形成立体对。其它像素不被渲染而仅被重投影。换句话说，处理将重投影与渲染组合，以创建使重投影伪像最小化的新的视图。特别地，从重投影方法，使用畸变图来确定邻居像素的过量伸展或压缩的区域，这样的伸展被提供来避免孔的出现。这些区域被标记以被渲染。来自新视图的重投影和渲染被合成以创建新的图像。系统可通过仅渲染可得像素的裂片而不是图像的所有像素来节省处理时间和资源。

在另一方面中，本发明针对执行深度布局处理的系统和方法，其中，创建2D板的新的偏移视图，从而允许以前仅存在2D板的图像的立体对。通过使用匹配移动照相机，产生近似于场景的定制几何图形，并且将2D旋转（rotomation）或其它抠像技术应用来从该几何图形中切出形状，以匹配或适配来自2D板的图像。场景被近似，并且深度图被创建。从匹配移动照相机创建的立体照相机然后与深度图一起使用，以计算两个视图之间的差异图。差异图被处理以创建畸变图。然后将畸变图应用到原始图像以创建偏移图像。两个图像然后形成匹配的立体对。

在一个方面中，本发明针对一种用于基于第一图像创建希望的第二图像的方法，包括：从第一照相机角度接收第一图像，第一图像包含至少一个三维模型化对象，所述三维模型化对象到观察面的距离是已知的或者是能够确定的；从与第一照相机角度不同的第二照相机角度创建所述三维模型化对象的第二图像；在第二图像中确定第二图像中表现不令人满意的至少一个像素组；渲染第二图像中表现不令人满意的像素组；以及用经渲染的像素替代第二图像中表现不令人满意的像素组以创建希望的第二图像。