[发明专利]解码多路复用的视频分组流的方法

说明书

本案是申请日为2002年11月21日、申请号为02826895.4、发明名称为“3D立体/多视图视频处理系统及其方法”的发明专利申请的分案申请。

技术领域

本发明涉及三维(3D)视频处理系统及其方法。更具体的，本发明涉及基于MPEG-4(运动图像专家组-4)处理立体/多视图三维视频图像的设备和方法。

背景技术

MPEG是一种通过视频图像压缩和编码表示的信息传送方法，且继当前的MPEG-1/2/4之后，被发展到下一代压缩方法MPEG-7。

MPEG-4，即在因特网上的数字存储介质中自由地存储包括视频图像的多媒体数据的视频流标准，现在已普遍使用，且MPEG-4可应用于便携式万维网广播MPEG-4播放器(PWMP)，等。

更具体的，MPEG-4是一种通过增加现有视频和音频信号的压缩编码的通用多媒体标准，所述通用多媒体包括静止图像、计算机图形(CG)、分解复合系统的音频编码、基于乐器数据接口(MIDI)的复合音频、以及文本。

相应地，属性相互不同的对象间的同步技术，以及用于表示各个对象的属性的对象描述符表示方法和用于表示对象之间的时间和空间相关性的场景描述信息表示方法是极其重要的事情。

在MPEG-4系统中，媒体对象以基本流(elementary stream)的形式被编码和传递，其由确定网络最大传输率、QoS(服务质量)因子和必需的解码器资源的变量来表征。单个媒体对象由特定编码方法的一个基本流组成，且通过包含压缩层、同步层和传输层的层次结构而被流化处理。

MPEG-4系统对从多个编码器的每个存取单元输出的数据流进行分组以处理不同属性的对象，并使用对象描述符信息和场景描述信息自由地表示数据流。

可是，现有MPEG-4系统只对二维(以下称“2D”)多媒体数据进行标准化，因此极少涉及用于处理立体/多视图3D视频数据的技术。

发明内容

本发明的一个目的是基于现有的MPEG-4标准处理立体/多视图三维视频数据。

本发明的另一个目的是通过将具有相同时间和空间信息的多通道的基于场的基本流多路复用为单个基本流，来最小化重叠的分组首标信息。

本发明的再一个目的是选择适合于用户需求和用户系统环境的数据，从而简化数据流。

根据本发明的一个方面，提供一种基于MPEG-4处理视频图像的立体/多视图三维视频处理系统，该系统包括：压缩器，用于处理输入立体/多视图三维视频数据，以生成多个通道的基于场的基本流，并将多通道基本流输出到单个集成的基本流中；分组器，用于从压缩器的每个存取单元接收基本流，且对所接收的基本流进行分组；以及传送器，用于处理分组的立体/多视图三维视频数据，且传递或存储所处理的视频数据。

压缩器包括三维对象编码器，用于编码输入立体/多视图三维视频数据，以输出多通道的基于场的基本流；以及三维基本流混合器，用于将多通道的基于场的基本流集成到单个基本流中。

当输入数据是三维立体视频数据时，三维对象编码器以4通道场为单位输出基本流，4通道场包括左图像的奇场和偶场以及右图像的奇场和偶场。可选的，当输入数据是N-视图的多视图视频数据时，三维对象编码器将N×2个基于场的基本流输出到三维基本流混合器。

三维基本流混合器根据由用户选择的立体/多视图三维视频的显示模式，通过选择性地使用经多个通道输入的多个基本流来生成单个基本流。显示模式是从二维视频显示模式、用于通过基于场的模板来显示三维视频图像的三维视频场模板显示模式、用于通过基于帧的模板来显示三维视频图像的三维立体视频帧模板显示模式、以及用于以所要求的帧频顺序地显示图像的多视图三维视频显示模式中选择的任意一种模式。

当显示模式是三维视频场模板显示模式时，所述三维基本流混合器以左图奇场基本流和右图偶场基本流的顺序使用2通道基本流，将从三维对象编码器输出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。

当显示模式是三维视频帧模板显示模式时，所述三维基本流混合器以左图奇场基本流、左图偶场基本流、右图奇场基本流和右图偶场基本流的顺序使用4通道基本流，将从三维对象编码器输出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。

当显示模式是二维视频显示模式时，所述三维基本流混合器以左图奇场基本流和左图偶场基本流的顺序使用2通道基本流，将从三维对象编码器输出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。