[发明专利]一种用于模拟三维图像序列的方法和系统

说明书

一种用于从2‑D图像帧(110)序列模拟3‑D图像序列的方法，该方法包括：从多个不同的观测点捕获场景的多个2‑D图像帧(110)，其中，在序列中的每个图像帧(110)内识别第一近端平面和第二远端平面，并且其中，每个观测点为每个图像帧保持基本相同的第一近端图像平面；确定序列中的每个图像帧内的第一近端平面和第二远端平面的深度估计；基于每个图像帧(110)的第二远端平面的深度估计，对齐序列中的每个图像帧(110)的第一近端平面，并移动序列中的每个后续图像帧(110)的第二远端平面，从而产生对应于每个2‑D图像帧的修改图像帧；以及依次显示修改图像帧。还公开了一种包括用于执行上述方法的装置的系统。

介绍

本发明涉及从2-D图像帧序列模拟3-D图像序列，并且更具体地，但是不排他地，涉及用于数字广告中的3-D图像序列。

人类视觉系统(HVS)依靠二维图像来解释三维视野。通过利用具有HVS的机制，我们创建了与HVS相当的图像/场景。

在观看3D图像序列时，眼睛必须会聚的点与它们必须聚焦的距离之间的不匹配会有负面影响。虽然3D图像已被证明在数字广告、医学成像和许多其他应用中很受欢迎和有用，但仍有一个众所周知的问题。

在自然观看中，图像以不同的双眼视差到达眼睛，因此当观看者从视觉场景中的一点看向另一点时，他们必须调整眼睛的聚散度。视线相交的距离就是聚散度距离。未能会聚在该距离处会导致重影。观看者还为场景的固定部分适当地调整(即，调节)每只眼睛中晶状体的焦度。眼睛必须聚焦的距离是调节距离。未能调节到该距离会导致图像模糊。聚散度和调节反应在大脑中是耦合的：具体地，聚散度的变化驱动调节的变化，并且调节的变化驱动聚散度的变化。这种耦合在自然观看中是有利的，因为聚散度距离和调节距离几乎总是相同的。

在3D图像序列中，图像具有不同的双眼视差，从而像在自然观看中发生的那样刺激聚散度的变化。但是调节距离在显示距离处保持固定，因此聚散度和调节距离之间的自然相关性被破坏，导致所谓的聚散度-调节冲突。该冲突引发了几个问题。首先，不同的视差和焦点信息导致感知深度失真。其次，观看者在同时融合和聚焦图像序列中的关键对象时会遇到困难。最后，试图分别调整聚散度和调节会导致观看者的视觉不适和疲劳。

背景技术

深度感知基于多个线索，其中双眼视差和运动视差通常比图像线索提供更精确的深度信息。双眼视差和运动视差为深度感知提供了两个独立的定量线索。双眼视差是指3D空间中一个点的两个视网膜图像投影之间的位置差异。如图1A和图1B中所示，当在图像场景110中观看物体102时获得的稳健的深度感知表明，大脑可以仅从双眼视差线索计算深度。在双眼视觉中，两眼视界112是空间中与注视点114具有相同视差的点的轨迹。位于穿过注视点114的水平线上的物体产生单个图像，而距该线合理距离的物体会产生两个图像116、118。

通过使用从稍微不同的角度获得的同一物体102的两个图像116、118，有可能高精度地三角测量到物体102的距离。每只眼睛观看由左眼104和右眼106看到的物体102的稍微不同的角度。这是由于眼睛的水平分离视差而发生的。如果物体远离，则落在两个视网膜上的图像110的视差108将变小。如果物体靠近或接近，则视差将变大。

运动视差120指的是由观察者104的平移造成的(在不同深度的物体之间的)相对图像运动。与双眼和图像深度线索分离，运动视差120还可以提供精确的深度感知，前提是它伴随着指定眼睛相对于视觉场景110的方向变化的辅助信号。如图所示，随着眼睛方向104改变，物体102相对于背景的表面相对运动给出了关于其相对距离的提示。如果物体102远离，则物体102看起来是静止的。如果物体102靠近或接近，则物体102好像移动得更快。