[发明专利]通过图像区域来编码和解码视频图像序列

说明书

技术领域

本发明一般地涉及视频图像序列的编码和解码。

当前的视频编码器(MPEG、H264标准等)使用视频序列的块表现。将图像切割为宏块，将每个宏块自身切割为块，并且通过图像内或图像间预测来对每个块或宏块进行编码。

本发明不但应用于这种类型的编码的上下文中，而且还应用于基于区段(region)的编码器(MPEG 4，JVT-ISO/IEC JTC1/SC29/WG11标准中的基于区段的编码，“Text of ISO/IEC 14496-10:200X/FDIS Advanced Video Coding”，草拟国际标准，w9198，2007年)的上下文中。

本发明更具体地涉及要编码的图像的块、宏块、区段的预测，或一般地涉及要编码的图像的区块(zone)的预测。

背景技术

预测在帧内模式(intra mode)中(即，基于正经历编码的图像的数据来)进行，或者在帧间模式(inter mode)中(即，基于该序列的一个或多个其他图像来进行)。

在帧内模式中，根据以下九个可能的模式，基于宏块或块的因果邻域(已经被编码并然后解码的相邻像素)来预测该宏块或块：八个模式是通过根据给定的定向来复制像素，并且一个模式是用于平均值。

在帧间模式中，基于宏块或块的时间邻域来预测该宏块或块，H.264标准使用运动意义上的位移。然后，对至少一个运动向量进行编码和传送。

在全部两种情况下，预测就其本身而言都是不充分的，故此，必须对预测误差(残差)进行编码。相应地，使用了DCT变换，其后跟随有量化，并且跟随有系数的传统编码。

而且，在图像合成的领域中，Wei和Levoy已经提出了所谓的“模板匹配”技术(或纹理(texture)的马尔可夫(Markov)预测)，以基于源图像来对图像进行合成。可以对文章Wei，L.& Levoy，M.Akeley，K.(ed.)Fast Texture Synthesis Using Tree-Structured Vector Quantization Siggraph 2000，Computer Graphics Proceedings，ACM Press/ACM SIGGRAPH/Addison Wesley Longman，2000，479-488)做出参考。

“模板匹配”的技术是基于邻居像素之间的相关性。通过比较此像素(目标)的每个邻居与源图像的所有邻居来确定要合成的图像的每个像素(或像素组)的值。要合成的像素的邻居是因果邻域的(即，预先合成的像素的)像素。向要合成的图像的对应像素(或，像素组)指派具有最相似邻域的源图像的像素(或像素组)。通过按照精确的顺序(一般地，从上到下并且从左到右(所谓的“光栅扫描”)顺序)进行复制，来合成要合成的区块(像素或像素组)。

经由用于使得目标与源邻域之间的距离最小化的准则(例如，二次误差(或平方差之和)或者绝对误差(或绝对差之和))来选定在源图像中最接近的邻域。

“模板匹配”方案是作为对于H264编码器的帧内预测的替换方案而在某些编码器中使用的数据合成方案(Tan等人的文章Intra prediction by template matching，2006年IEEE，第1693页到第1696页)。在实践中，将“模板匹配”模式添加到帧内预测的九个其它模式。

在Tan的文章中，“模板匹配”方案用于预测尺寸为4×4个像素的块，它们自身被切割为2×2个像素的子块。将要预测的块认为是目标(要合成的图像)，源是部分地解码的图像。

在30％数量级的新“模板匹配”帧内预测模式的使用比率的情况下，比率方面的增益上升到11％。

已经改善了“模板匹配”的构思(Suzuki等人的文章Video Encoding Scheme Employing Intra and Inter Prediction Based on Averaged Template Matching Predictors，2008年，The Institute of Electronics，Information and Communication Engineers，第1127页到第1134页)。Suzuki等人已经注意到：在“模板匹配”方案意义上的最佳候选者不一定是用于预测图像的最佳代表。基于这个发现，Suzuki等人已经改编了模板匹配方案：基于N个最佳候选者的平均值来预测目标。