[发明专利]对2D电影进行转换用于立体3D显示的方法和系统

说明书

相关申请

本申请要求于2006年6月23目递交的名称为“用于转换2D 电影为立体3D显示的方法和系统”的第60/816,272号U.S.临时申 请的优先权，通过引证将其结合于此。

技术领域

本发明主要涉及图像处理，更具体地，涉及从原始图像序列产 生转换的图像序列。

背景技术

因为人类具有双目视觉，所以能够感知三维世界中的深度和距 离。人类双眼以大约2.5英寸水平分离，且每只眼睛从轻微不同的 视角来感知世界。结果，在双眼的视网膜上投影的图像会有轻微差 异，这种差异被称作双眼视差。作为人类视觉系统的一部分，大脑 具有通过称为立体视的加工将双眼视差解释为深度的能力。人类视 觉系统从双眼视差感知深度的能力被称为立体视觉。

立体视的原理早已用于通过产生与人类眼睛感知到的一样的 两个立体3D图像来记录三维(3D)视觉信息。当适当显示立体3D 图像对时，立体3D图像对会在观察者的眼睛中再现立体感效应。 立体3D图像不同于体积图像或者三维计算机图形图像，因为它们 只通过立体视觉产生立体感效应，而后者包含真实的三维信息。一 种记录立体3D图像的通用方法包括使用一种装备有一对水平分离 的透镜的立体3D摄像机，这一对透镜具有和人类眼睛分离的间距 相同或者相似的目间距。与人类眼睛一样，各摄像机镜头分别记录 图像，传统上称为左眼图像和右眼图像，或者简单地称为左图像和 右图像。可用通过其他类型的3D图像采集装置或者近来基于相同 的立体视原则的计算机图形技术来产生立体3D图像。

向观察者显示一对立体3D图像，当只为观察者的左眼显示左 图像、只为右眼显示右图像时，立体感效应在大脑中形成。用特殊 的立体3D显示装置来保证每个眼睛只看到截然不同的图像。在那 些装置中使用的技术包括偏振滤光器、时间顺序快门装置、波长陷 波滤波器、立体影片滤波器以及透镜/视差屏障装置。尽管那些立体 3D显示装置中的技术不同，但是观察者察觉的深度主要由双眼视 差信息决定。此外，立体3D图像中物体的感知尺寸与物体的感知 深度负相关，这意味着当物体向观察者移近时，物体看来好像变小。 最后，3D摄影机的目间距也改变了因此而生成的立体3D图像中的 物体的感知尺寸。

立体3D电影由通过立体3D电影摄像机或者计算机渲染或者 二者的结合产生的一对立体3D图像序列形成。在如下的讨论中， 术语“3D”表示“立体3D”，不应该与描述包括真实深度信息的体 积图像和计算机图形图像中的相同的术语相混淆。相似地，术语“视 差”表示“双眼视差”。

与制作普通二维(2D)电影相比，制作3D电影通常花费更高， 且工艺更加复杂。通常3D电影摄影机比普通的2D摄像机体积更 大、更加笨重，并且通常更加难以操作。为了制作优质的3D真实 性，包括采集、视频特效(VFX)、渲染和编辑的整个制作过程都 需要3D电影术方面的专家。至今，与大规模的2D电影比起来， 冠名3D电影的数量相对较少。

一种制作3D电影的可选方法是采集2D中的图像，并将因此 而生成的电影胶片数字转换为3D图像。这种方法的基本概念是如 果可以为2D图像的每个像素赋适当的视差值，则可以从原始的2D 图像中产生左图像和右图像。可以从物体的深度值直接计算出物体 的视差值。靠近观察者的物体比远离观察者的物体产生的视差值更 大。当物体朝着无限远移动时，视差接近零。为了从2D图像产生 可信的3D效应，整个图像需要正确的深度信息，该深度信息在一 些情况下可以计算，或基于观察者对场景的主观解释来估计。所有 赋以图像像素的深度值构成称为深度图(depth map)的图像，如果 图像中所有像素都被赋以了深度值，则该深度图称为是密集的。为 了将图像序列转换为3D，采集图像序列中的所有帧的密集深度图， 因而产生的图像序列是深度图序列。

直接估计与2D图像序列中采集的现实世界场景紧密匹配的深 度图序列将是一项艰巨的任务。相反，通用的做法是通过界定场景 中的各个物体来间接估计深度图。通过物体表面在三维世界中占用 的体积来界定物体，也通过其从一个帧到下一个帧的移动和变形来 界定。可以使用软件工具通过固体建模、动画和其他技术来促进完 成界定物体的任务。然而，由于场景中存在的动作，对2D场景中 的所有物体的建模和制作动画是耗时且劳动强度大的过程。