[发明专利]用于优化灵活宏块排序视频编码的帧选择的方法和装置

说明书

相关申请的交叉引用 

本申请要求2005年12月22日提交的、名称为“METHOD ANDAPPARATUS FOR OPTIMIZATION OF FRAME SELECTION FORFLEXIBLE MACROBLOCK ORDERING(FMO)VIDEO ENCODING”的美国临时申请第60/753294号的权益，通过引用将其整体合并于此。 

技术领域

本发明一般涉及视频编码，更具体地涉及用于优化灵活宏块排序(flexiblemacroblock ordering，FMO)视频编码的帧选择的方法和装置。 

背景技术

灵活宏块排序(FMO)是在国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟电信部门(ITU-T)H.264标准(下文中称为“MPEG4/H.264标准”或简称为“H.264标准”)中引入的新的差错复原(error resilience)工具。FMO通过将经过编码的画面分离(split)为多于一个切片组(slice group)，以增加的比特率为代价来提高经过编码的比特流的差错复原的能力。在JM参考软件中，如果将FMO应用于一组画面(GOP)，则以相同的FMO模式对GOP中的每个画面进行编码。接着，在传输期间数据丢失的情况下，在解码器处通过基于切片的差错隐藏(error concealment)功能来开发FMO的特性，以提供提高的经过解码的视频质量。 

然而，由于在H.264联合模型(Joint Model，JM)解码器处非基于切片的差错隐藏选择变得可用，因此，在存在不同类型的数据丢失的情况下可以调用不同的方法。因此，促使所有的帧被以相同的FMO模式编码而不考虑解码器侧的选择和源的特征，对于在FMO编码上花费的额外的比特率来说可能不是高效的。 

在H.264标准中，在未使用FMO时，切片是在光栅扫描中连续排序的整 数个宏块(MB)。仅在同一切片的宏块内允许在该标准中指定的画面内预测机制，因此每个切片都是独立的(self-contained)，使得其可在不使用来自其它切片的数据的情况下被独立解码。切片组是由在对应的画面参数集(set)和切片首部中指定的宏块分派图(MBAmap)分配的一组宏块，并且可以将切片组进一步分为若干个切片。在画面中的切片组的数目大于1时指定FMO。因此，可以将画面分离为多个切片，并且在此情况下每个切片中的宏块在光栅扫描中必须是空间连续的。可替换地，画面可以由FMO划分为多个切片组，从而基于MBAmap允许诸如棋盘格(checker-board)或者“突出-剩余(foreground-leftover)”之类的灵活宏块扫描图案(pattem)。 

转向图1A，示例性地将画面分为两个切片，由参考标号100总地指示。在图1A的示例中，每个切片包括空间连续且邻近的宏块。 

转向图1B，利用棋盘格图案示例性地将画面分为两个切片组，由参考标号150总地指示。在图1B的示例中，一个切片组具有一个切片，并且该切片包括分散遍及该画面的宏块。与图1A的示例相比较，通过使用FMO，图1B中的每个切片组中的宏块不必是空间相邻的。因此，画面内预测通常是效率较低的，并且可能影响压缩效率。 

设计FMO来增强H.264标准的鲁棒性。首先，通过使用FMO，将画面分为多个切片组，并因此得到多个切片。由于每个切片都是独立的，因此多个切片可以提供许多空间上不同的再同步点(resynchronization point)，由此可以保留来自被损坏的(corrupted)画面的更多的有用信息。第二，通过在FMO中采用不同的映射图案，画面中的丢失区域可以被来自其它切片组的经过正确解码的相邻区域包围。结合适当的差错隐藏方法，可以基于其相邻区域、以较小的视觉影响来隐藏丢失区域。最后，通过使用FMO，切片变得相对较小，并且这导致无线环境中分组(切片)丢失的概率降低。然而，这些益处是以一些代价得到的。通过将画面分为切片，由于受约束的画面内预测，从而降低了编码效率。另外，FMO引入信令和分组化比特率开销。