[发明专利]用于空间可扩展视频编码的自适应上采样

说明书

背景技术

在信号的编码和解码二者的过程中，CPU（中央处理单元）效率都很重要。最新一代的处理器正变得越来越并行化，其中在每一块单个芯片上有高达数以百计的简单核心。

不幸的是，传统的MPEG（运动画面专家组）族编解码器在结构上不是并行的。这是因为以下事实：所述MPEG族编解码器是基于块的，并且每一个图像块必须被顺序地编码和解码，这是由于为了实现高效的压缩，必须使得所有块以某种方式彼此相关。通过把所谓的“切片”（其基本上是被独立于彼此处理的图像的各个片段，就好像它们是被彼此挨着放置的分开的视频一样）引入到MPEG编码中，H.264标准允许并行地处理几个线程（典型地，2或3个线程）。诸如去块效应（即“平滑”各块之间的过渡以便产生更加均匀的图像的滤波器）之类的重要算法元素通常是充满条件指令的全局操作，其不适合于包括并行CPU的应用。

当今的CPU和GPU（图形处理单元）通常非常强大；单一GPU可以包括用于执行并行信息处理的几百个计算核心。在使用当前的技术时，图像的一些较大部分可以被存储在处理器高速缓存中以供处理。对把图像分段成多个小块的需要不再适用于现今的CPU和GPU，而这种需要在创建MPEG时是一种驱动因素，这是因为当时的处理器每次只能处理非常小的视频数据组块，并且于是仅仅顺序地进行处理。因此，在实施类似于MPEG类型的编码/解码时可能有一大部分可用处理能力未被使用，其中不必要地将块效应（blocking artifact）引入到信号中。

此外，与开发MPEG时的当时情况相比，现今的应用通常需要清晰度高很多的视频编码以及高很多的总体重放质量。在高清晰度（HD）、高质量视频中，在具有低细节（可能甚至失焦）的区域与具有非常精细的细节的区域之间所存在的差异要大得多。这就使得诸如用在MPEG中的那些的频域变换的使用甚至更加不适用于图像处理和重放，这是因为相关频率的范围正变得宽的多。

此外，更高分辨率的图像包括更高数量的摄影机噪声和/或胶片颗粒，即，对于观看来说可能相当无关并且需要许多比特来进行编码的非常详细的高频像素过渡。

最后，传统的编解码器不适合于在3D或体积成像的情况下高效地执行，这在诸如医疗成像、科学成像等的领域内正变得越来越重要。

当今的大多数目标器件支持不同的重放分辨率和质量。所谓的SVC（可扩展视频编码）、即针对可扩展性的当前MPEG标准尚未被行业顺利地接受并且表现出很少的至几乎没有的采用，这是因为其被认为是过于复杂并且在一定程度上导致带宽低效的方式。

此外，存在大量已编码视频；也就是说内容提供商通常没有时间定制编码器参数并且对于每一个特定视频流进行实验。当前，内容提供商不喜欢必须人工调整（每次执行编码以及检查结果的质量时）许多编码参数以便成功地编码视频。

作为用于编码/解码的MPEG标准的替换，已将所谓的图像金字塔用于编码/解码目的。举例来说，通过利用拉普拉斯金字塔，传统的系统利用高斯滤波器创建了较低分辨率的图像，并且随后建立通过利用严格编程的解码器从较低分辨率水平回到原始水平进行上采样而获得的各图像之间的差异的金字塔。

对于传统的拉普拉斯金字塔编码的使用已经被放弃。这样的变换的一种缺陷在于，作者总是试图避免下采样图像中的失真/伪像，因此他们通常使用高斯滤波，因为这是不添加其自身的任何信息的唯一滤波器类型。但是高斯滤波的不可逾越的问题在于其引入了模糊效应，使得在向上扩展回到更高分辨率时，需要过量的图像校正信息来再现原始图像。换句话说，利用传统滤波器的上采样在重建的图像中导致锯齿边缘或模糊边缘。需要利用大量残留数据来校正锯齿边缘或模糊边缘，从而使得这样的编码技术对于使用在较高分辨率的应用中来说是不合期望的。

发明内容

本文中的实施例相对于传统的系统和方法而偏离，以在从信号的较低分辨率呈现进行上采样时减少以足够的精度重建信号所需的残留数据的量。举例来说，本文中的实施例是针对在上采样过程中利用一个或多个不同的上采样操作来锐化以及“去混合（deblend）”所识别出的过渡区域的独特方式。所提出的上采样技术的特定配置减少了在分层结构中的相继更高的质量水平下解码信号时重建信号所需的数据量，这是因为上采样操作实现更高质量水平的更加精确的重建。