[发明专利]立体三维图像的低带宽内容保留压缩方法和设备

说明书

技术领域

本发明涉及三维(3D)视频图像的传递，具体地涉及降低3D视频图像传递所需的带宽而同时保留内容的方法和设备。

背景技术

在组播或广播应用中，通过有线和/或无线网络从服务器向多个接收机传输数据。组播系统是服务器向多个接收机同时传输相同数据的系统，其中，接收机形成所有接收机的子集，该子集的接收机多达以及包括所有的接收机。广播系统是服务器向所有接收机同时传输相同数据的系统。即，根据定义组播系统可以包括广播系统。

尽管用于传递(传输、部署)左眼(LE)-右眼(RE)图像差作为附加层的现有方法实现了实质立体压缩，但是用于附加层的带宽在单个信道的30％到60％范围上。该量仍较高，并且存在针对分发、解码和存储的问题。

目的在于找到一种实际且高效的方法，其在单个视频流的15％至30％带宽的图像中传递附加层。

本压缩方法更好地适应LE和RE视频图像对的立体3D(S3D)结构，并且利用了两个画面信道的内在关系。如果原始S3D画面是使用并行的摄像机装置或前束(toe-in)来捕获的，或者如果原始S3D画面是通过应用创造性场景深度来捕获(拍摄)的，则LE和RE视频图像对中的两个图像具有更深的相关性，可以沿着图像的z轴(或深度轴)通过非线性旋转来提取这种更深的相关性。本发明使用这种相关特征(来自人类视觉系统(HVS)的特性)，并且传递更好的视频传送压缩。

发明内容

本发明允许对以图像深度再现为目的而捕获或创建的视频图像(画面)的始位(home)的高级部署。通过现有管道(链路、信道)整体传送左眼(LE)图像和右眼(RE)图像之一，无论这些链路是组播、广播、有线、卫星、互联网还是地面等。使用立体画面对的容量特征和空间特性来压缩第二视频图像。

本发明扩展作为MPEG 4实现方式的部分而列出的解决方案(被称作2D Plus Delta技术)。本文所描述的本发明在基于3D旋转和迭代图像减法将LE与RE图像相关的方面与该技术不同。

应当注意到，视频图像数据用作示例，但是数据也可以是S3D类型多媒体数据。应当注意，本发明可以使用在以下系统中：在电视上显示或者在显示监视器或视频投影仪或能够呈现3D视频图像的任何其他设备上呈现3D视频图像，能够呈现3D视频图像的任何其他设备包括但不限于，移动设备、计算机、膝上型计算机、笔记本计算机、个人数字助理(PDA)、双模智能电话等。术语电视线路在本文用作以上用于传递和呈现3D视频图像的系统的示例性实施例。任何以上设备可以在客户端-服务器架构或者对等(P2P)架构或其任何组合或者用于传递和呈现3D视频图像的任何其他架构中进行操作。组合架构例如包括在具有网状路由器的多跳无线中继网络中使用的P2P架构，网状路由器连接至客户端-服务器架构中的服务器。

本发明通过首先从显示帧中第一有效帧行(line)的LE图像中减去第一有效帧行(同一行)的RE图像来采用高效的立体图像编码。如果该差值显著，则算法识别出存在立体内容，并且开始定位立体内容集中的位置--在远区、在中间区或者在接近真实场景的观看者区中。这可以通过分三步沿着LE图像行的方向移位RE图像行并且产生三个LE-RE差来实现。最小差指示场景的主导图像深度。然后围绕该位置来确定更精细图像行移位，以获得更小的差。对于后面的电视行重复该过程，其中在一个帧中添加垂直行相关、以及帧间时间行相关。因此，该过程找出RE图像与LE图像的最接近位置。非线性RE图像行移位表示电视帧中的旋转操作，目的在于适应最明显的立体平面中的LE图像行。完全地传递LE图像，而通过将RE图像编码为最小LE-RE差来编码RE图像。计算是：对差中的累加字节进行移位、减法和计数。该压缩方法在行扫描中实时操作。在接收侧，解压缩方法接受(接收)具有行移位值的元数据，并且该方法从传输的全LE图像中减去LE-RE差，以恢复RE行图像，并且将RE行图像定位至其原始位置。

应当注意，本发明的方法对完全逐行扫描或隔行扫描的LE和RE图像进行处理。即，本发明的方法按照向本发明的方法和设备呈现图像的方式来处理图像。本发明既不修改光栅格式也不采用分区或交织压缩。其并行承载针对两个图像的信息，并且不采用任何LE或RE图像序列来压缩立体图像对。