[发明专利]图像处理设备和方法

说明书

技术领域

本发明涉及图像处理设备和方法，且更具体地涉及可以改善编码效率同时防止负荷增加的图像处理设备和方法。

背景技术

通常，使用运动补偿和比如离散余弦变换、Karhunen-Loève变换或者小波变换之类的正交变换的编码方案(包括MPEG(运动图像专家组)、H.26x等)通常已经用作在处理运动图像的情况下的编码方案。在这些运动图像编码方案中，通过利用要编码的输入图像信号的特性当中的空间方向和时间方向上的相关性来实现代码量的减少。

例如，在H.264中，当利用时间方向上的相关性产生作为要经历帧间预测(帧间预测)的帧的帧间时使用单向预测或者双向预测。设计帧间预测以产生基于在不同时间的帧的预测图像。

此外，在作为H.264的标准扩展的SVC(可缩放视频编码)中，已经建立考虑空间可缩放性的编码方案。SVC(H.264/AVC附录G)是在2007年11月由ITU-T(国际电信联盟电信标准化部门)和ISO/IEC(用于标准化的国际组织/国际电工委员会)标准化的最新的视频编码标准。

图1图示在SVC中考虑空间可缩放性的创建用于压缩的预测图像的参考关系。在SVC中，例如，如图1所示，以基层和增强层中的多个分辨率执行编码。在图1中的示例的情况下，作为基层，使用空间可缩放性编码具有n×m[像素(pix)](n和m是整数)的分辨率的图像。与此一起，使用空间可缩放性编码具有N×M[像素(pix)](N和M是整数)的分辨率的图像(其中N＞n且M＞m)作为增强层。

在基层的情况下，与基于H.264标准的编码的情况类似地，利用帧内预测或者帧间预测编码当前帧。在图1中的示例的情况下，当执行基层的编码时，使用两个基准面(Ref0，Ref1)。提取来自单独的基准面的运动补偿图像(MC0，MC1)，并执行帧间预测。

同样在增强层的情况下，与基本层的情况类似，可以利用帧内预测或者帧间预测编码当前帧。

在帧内预测的情况下，利用当前帧的增强层中的空间相关性执行预测。在时间方向上的相关性低时，比如当对象少量移动时，帧内预测在要编码的运动图像中是有效的。但是，通常，在一般的运动图像中，在多数情况下，时间方向上的相关性高于空间方向上的预测，且帧内预测不能被认为就编码效率而言是最适宜的。

在帧间预测的情况下，在时间上在前或在后的帧的增强层中的解码图像用作基准面。帧间预测使用时间方向上的相关性，因此使得高编码效率是可行的。但是，需要预先解码在用作基准面的增强层中的高分辨率帧图像。此外，还需要在存储器中保存高分辨率图像以利用它们作为参考。此外，需要从存储器读取具有大量数据的高分辨率图像。因此，帧间预测可以被认为是就处理量和实现成本而言施加大负荷的方案。

在这点上，在增强层的情况下，除上述两个方案之外，基于基层的空间上采样(上转换)的预测方法(以下称为上转换预测)可用于编码当前帧。

在基层中的图像是增强层中的图像的低分辨率版本，因此可以被认为包括与增强层中的图像的低频分量对应的信号。就是说，可以通过将高频分量加到基层中的图像来获得增强层中的图像。上转换预测是用于利用这种层之间的相关性执行预测的方法，且特别在帧内预测或者帧间预测不适用的情况下是对改善编码效率有用的预测方法。此外，该预测方法仅通过在基层中同时解码图像来解码当前帧的增强层中的图像，因此可以被认为是就处理量而言同样优秀的(施加小负荷)的预测方案。

同时，用于增大分辨率的处理包括用于执行运动补偿和像素值的FIR滤波以将时间方向上的相关性转换为用于使用的空间分辨率的技术。(例如，参见，NPL 1)。

在NPL 1中描述的方法中，时间方向上的相关性用于增加输入图像序列的分辨率的处理。具体地说，计算在当前图像和先前图像之间的有关已运动预测/补偿的图像的差别信息，且将其反馈到目标当前图像以恢复输入图像中包括的高频分量。

引文列表

非专利文献

NPL 1：“Improving Resolution by Image Registration”，MICHAL IRANI和SHMUEL PELEG，计算机科学系，耶路撒冷希伯来大学，耶路撒冷91904，以色列，由Rama Chellapa传送，在1989年6月16日接收；1990年5月25日接受。

发明内容

技术问题