[发明专利]用于通过超像素编码和解码数字图像的方法和装置

说明书

本发明涉及用于编码和/或解码数字图像或视频流的方法和装置，其中编码装置(1100)包括处理部件(1110)，处理部件(1110)被配置用于读取所述图像的至少一部分，分割所述图像的部分以便获得由边界信息识别的并且包含具有一个或多个同质特性的至少两个像素的像素组，针对每个像素组基于与所述像素组(Pⁱ)相关联的边界信息来计算权重图，基于所述权重图来计算图变换矩阵，以及基于所述图变换矩阵(U)和包含在所述像素组中的像素来计算变换系数。

技术领域

本发明涉及数字图像和视频编码领域。即，本发明描述了用于压缩和解压缩图像(尤其是自然图像)使得它们可以经由带宽受约束的信道被递送或被存储在容量受限的介质上的方法和系统。

背景技术

本发明面对的问题

本发明解决的问题是图像和同样由图像组成的视频序列的编码。

作为基本的编码工具，大多数现有技术依赖于被称为离散余弦变换(DCT)的基于块的变换，例如在各种JPEG和MPEG编码标准中。图像被细分为具有正方形的块，然后DCT被应用于每个块(有可能使块的尺寸适应图像特性)，然后在最简单的情况下对块进行独立编码和解码(更高级的压缩方案可以包括帧内和帧间块预测，以进一步提高编解码器性能)。

DCT在图像编码中被广泛接受，因为它具有期望的性质：它倾向于将感知上最有意义的变换系数聚类(即，压缩信号的能量)在变换系数矩阵的左上部分中，从而使得实现高效的压缩方案(诸如非均匀量化、锯齿波系数扫描及其熵编码)。显然，DCT压缩信号中的能量的实际能力依赖于被编码的特定图像块的语义。同质块(例如，表示对象的光滑表面的块)是期望的，因为它们产生具有少量重要系数的变换系数矩阵，因此易于编码，并且在由解码器恢复时不产生重建伪像(reconstruction artifact)。相反，包含不连续性(例如，不同颜色、纹理等的对象之间的接合处)的块导致这样的变换系数矩阵：在中重要系数不被约束到矩阵的区域，并且该变换系数矩阵可能在其解码的时候产生明显的重建伪像。

尽管大多数现代编码技术通过使每个块的尺寸适应图像的特性来以某种方式解决这个问题，但是块的预定义的正方形表现出了DCT最大限制之一，因为块中可能存在一些不连续性，从而在解码图像中产生重建伪像，如图13中所示。

本发明经由被称为基于图的变换(graph-based transform)的完全不同的做法来克服基于块的图像编码的这种限制。

基于图的变换可以被看作是基于块的变换的泛化(或者，相反，基于块的变换可以被认为是基于图的变换的特殊情况)。图像(或其子集)可以被表示为通过加权边连接的节点的图：每个节点是图像的像素，并且两个节点之间的每条加权边描述像素之间的相似性(例如，在灰度颜色空间中)。例如，属于与对象表面的内部对应的相同平滑区域的两个像素将是相似的，因此在图中将由具有高权重的边连接。相反，属于不同对象的两个像素将可能是相异的(或者，等同为不相似)，并且在图中将由具有低权重的边连接。典型地，为了在本发明中考虑的图像压缩，图像的每个像素将仅被连接到图像中的其它像素的子集(典型地，上、左、下和右四个相邻像素)，并且因此对应的边将具有非空权重。相反，每个像素将与图像中的所有其它像素断开连接，并且因此对应的边权重可以常规地设置为0，因为在本发明的实施例中与那些像素的相似性或相异性是未定义的。

图变换(graph transform)的优势之一是它可以应用于任意形状和扩展的图像的各个区域，然后可以对其进行独立编码和解码。