[发明专利]3D视频分析

说明书

技术领域

本发明涉及一种用于分析三维(3D)视频素材(video material)的方法和装置。

背景技术

三维(3D)视频电视最近已经面向了消费者，并且预期3D设备和节目的量在接下来的几年内将快速增加。

3D电视依赖于立体技术，即，图像对(一对图像)被对应的相机捕获，该对应的相机横向地相距(即，基本上在水平的图像方向上)某一距离，例如用户的眼睛的典型间距。图像对因此表示同一场景中略微不同的视图；一般而言，它们将包含场景内的相同项目(偶尔在图像的极端位置处会有例外)，但是两幅图像之间的项目的相对位置将取决于诸如相机对齐和该项目距相机布置的距离之类的因素。

当图像被显示时，以下要求是重要的：用户的每只眼睛(至少主要地)看着图像对中对应的一个。实际上，这是通过各种方式实现的，例如通过用户佩戴偏振的、时间复用或者颜色过滤的眼镜，或者通过电视屏幕自身设有特殊的镜头装置，该镜头装置将两幅图像中的每一幅转向到观看者的对应的眼睛位置。其中，在3D电视技术中一般不使用早期在3D影院中通常尝试的颜色过滤技术。

返回到3D相机系统，图像对中的每一个由独立的相机捕获，该独立的相机具有其自身的镜头和图像捕获装置(例如CCD装置)。但是，为了维持观看者的3D错觉，很重要的是：每个图像对的两幅图像在显示器处相组合以给出以下印象：观看者正在通过与显示屏幕一致的窗口观看真实的3D屏幕。

潜在的问题可能破坏这种错误，当具有负的视差的对象(也就是说，将被3D显示器显示为处于显示屏幕的平面的前面的对象)离开相机，也就是说，离开显示器时。该问题可能发生是因为对象在离开一只眼睛的图像之前离开了另一只眼睛的图像。在真实生活中，这种配置不会发生，因此在显示器上看到该配置会打破观看者正观看3D场景的错觉。当对象缓慢地向一侧或者另一侧离开屏幕时，这尤其是个问题。

对象是否出现在屏幕的前面的问题取决于对象相对于相机会聚点的位置。因此，一种可能的解决方案是改变会聚点，以使得视图中的所有对象都在屏幕的后面。另一种可能的解决方案是裁剪左图像和右图像以便从任一眼睛的视图中去除对象。然而，这可能对图像的艺术构图有其他显著的和不期望的影响。第三种技术是仅裁剪一幅图像，以便减少在该图像中对象的出现而使得其匹配另一幅图像。这被公知为将“浮动窗”或者“浮动裁剪”添加到图像。利用浮动窗，左图像和右图像的边缘根据哪些对象在屏幕的边缘上或者接近屏幕的边缘被动态裁剪。该性质的临时浮动窗的值是如果谨慎地实施该值，那么很有可能用户甚至不能注意到它的存在。

换句话说，如果没有应用适当的浮动窗，但是对象在图像的左侧的边缘或者右侧的边缘上，并且该对象在屏幕平面的前面，那么该图像可能会显得在一只眼睛中被不自然地截断。例如，图片的左侧的边缘上在屏幕前面的对象将显得在右眼中被不自然地截断。这是因为右眼将期望比左眼看到对象的更多部分，就像对象在屏幕周围的窗口的后面。如前所述，场景中的对象的这种明显不正确的截断可能引起观看者的不舒适感觉并且可能破坏3D感觉。

发明内容

本发明提供了一种用于表示场景的对应的左眼和右眼视图的3D图像对的图像分析装置，所述装置包括：

图像裁剪检测器，该图像裁剪检测器被配置为检测在所述图像的一者的横向边缘上的图像裁剪的存在；以及

帧违规检测器，该帧违规检测器被配置为在排除了任何检测到的图像裁剪的图像的区域内检测在右图像中没有找到的左图像的左边缘的阈值距离内的图像特征，或者在左图像中没有找到的右图像的右边缘的阈值距离内的图像特征。

本发明意图检测在3D视频中的帧违规，但是认识到如果浮动窗已经存在，则浮动窗自身可能被不正确地检测为表示帧违规，因为它将被检测为靠近图像边缘的具有负视差的图像特征。

本发明通过以下方式来解决该问题：首先检测构成3D对的图像的横向边缘上的图像裁剪，然后在由任何检测到的图像裁剪限定的区域内应用帧违规测试。

本发明的另外的各个方面和特征在权利要求中定义。

附图说明

现将仅通过示例的方式并参考如下的附图描述本发明的实施例：

图1示意性地图示了3D相机系统

图2示意性地图示了3D视频分析装置；

图3示意性地图示了3D视频分析装置的另一实施例；

图4示意性地图示了视频处理器；

图5示意性地图示了单元处理器；

图6是提供了关于接收到的3D(L/R)视频信号的视频处理器的操作的概况的示意图；