[发明专利]用于帧连续立体视频编码的动态参考帧重排序

说明书

相关申请的交叉引用

本申请要求2010年10月18日提交的美国专利临时申请第12/906,758号的优先权(该临时申请被通过引用而全部结合于此)，并且要求2009年11月6日提交的美国临时专利申请第61/258,737号的优先权(该临时申请被通过引用而全部结合于此)。

有关联邦赞助的研究和开发的声明

不适用

对以光盘递交的素材的引述结合

不适用

受版权保护的素材的通告

本专利文档中的素材的一部分受美国和其它国家的版权法的版权保护。版权所有人不反对任何人对本专利文档或专利公开按照其出现在美国专利商标局可公开获得的文件或记录中那样进行复制，并且在其它情形下无论如何都保留所有版权。因此，版权所有者不放弃将本专利文档保持在保密状态的任何权利，包括并且不限于遵循37C.F.R.$1.14的权利。

本发明的背景

1.技术领域

本发明一般地涉及立体成像，并且更具体地涉及对帧连续(frame sequential)立体成像中的变化进行编码。

2.相关技术的描述

对图像和视频的高质量再现的兴趣持续增长。高清晰广播和再现装置变得无处不在。为了支持这些高带宽流的高效通信，编码标准已经例如利用允许多个参考帧的H.264和其它基于熵的编码标准在持续改进。

近年来，再现三维(3D)图像的能力已经获得了越来越多的兴趣和发展。在渲染3D图像时，空间上不同的帧必须被捕获并被分离地传送到观众的左眼和右眼。这些年来，已经提出了许多技术，从数十年前的有色影院眼镜到最近的快门眼镜的使用，其中，在快门眼镜中，每个透镜包括快门(例如LCD)，快门接通和关断以使得每个眼睛从连续显示左眼和右眼图像两者的屏幕仅看到其对应的左眼图像或右眼图像。

不论用来控制针对每个眼睛如何显示图像的机制如何，编码3D视频素材的帧连续方法被广泛使用。在传统2D视频中，来自单个空间位置的连续帧被以给定成帧速率(例如30帧每秒(fps))被输出。到了对被连续编码的3D视频成帧，输出的连续帧在左侧空间图像和右侧空间图像之间交替。

与帧连续立体视频相关联的问题之一与流的传输有关，因为流具有无法使用传统编码标准被轻易“压缩”的高带宽。

因此，需要在不需要开发不与2D视频流相兼容的全新的3D编码机制的同时对帧连续立体视频进行编码的系统和方法。这些需要以及其它需要在本发明内得到满足，本发明克服了之前开发的视频编码系统和方法的不足。

本发明的简要内容

本发明提高了当将多个不同图像(例如不同类型的视频，例如空间上不同)编码到同一输出流中时的效率(质量相比于比特率)，并且其特别地适合于帧连续编码输出流内的立体视频的编码。

为了改进帧连续立体(FSS)视频的编码，本发明考虑到流内的参考帧位置的选择性重排序(交换)。应当明白，编码方法可操作用于减小流内的空间和时间冗余。为了实现该目的，这些编码技术降低了同一图像帧的块内的空间冗余，并且降低了具有连续捕获间隔的连续帧上的宏块之间的时间冗余。

应当明白，视频流(在此也简称为“视频”)是视频帧的序列。序列的每个帧包括静止图像。视频的回放以期望的帧率，通常以接近30帧每秒的速率(例如从23.976、24、25、29.97、30fps的传统帧率中选择或可用的非标准速率)执行。

在FSS视频的编码期间，毗邻的帧不表现连续捕获间隔，而是空间上不同的，这显著影响编码流的效率(压缩度或比特预算)。通过使用参考帧的选择性重排序，本发明在被应用于FSS视频时增大了传统2D编码机制的效率。根据本发明的装置和方法可以实现在各种高级编码器内，包括H.264和AVC编码器(AVC＝高级视频编码)，这可以支持多个参考帧。

本发明可以以多种方式实现，包括但不限于以下描述。