[发明专利]图像处理装置、图像处理方法以及程序

说明书

技术领域

本发明涉及一种图像处理装置、图像处理方法以及程序，并且更具体地，涉及当在帧间预测中执行具有分数精确度的运动补偿操作时在抑制帧间预测精确度降低的同时可以减少处理负载和延迟的图像处理装置、图像处理方法以及程序。

背景技术

作为用于图像压缩的标准，存在H.264/MPEG（运动图像专家组）-4第10部分先进视频编码（在下文中被称为H.264/AVC）。

根据H.264/AVC，通过利用场或帧之间的相关性来执行帧间预测。在帧间预测中，通过使用已经存储的可参考图像的一部分来执行运动补偿操作，并且生成预测图像。

近年来，已经尝试改进运动补偿操作中的运动向量分辨率，以便实现分数精确度（诸如1/2或1/4等）。

在这种具有分数精确度的运动补偿操作中，在参考图像中的邻近像素之间设置有具有分数位置的虚拟像素（被称为亚像素（sub pel）），并且额外地执行生成亚像素的操作（在下文中被称为插值）（例如，参见专利文献1）。即，在具有分数精确度的运动补偿操作中，最低的运动向量分辨率是像素数量的分数倍，并且因此，执行生成分数位置上的像素的插值。

在插值中所使用的插值滤波器（IF）通常为有限冲激响应（FIR）滤波器。

例如，在传统的插值中，使用6抽头FIR滤波器作为插值滤波器。另外，作为插值滤波器结构，存在不可分离的2D结构和可分离的2D结构。

在使用具有不可分离的2D结构的插值滤波器的情况下，针对每个亚像素，通过对具有整数位置的6×6个像素执行单一计算来生成每个亚像素。在这种情况下，因为通过单一计算来生成每个亚像素，所以延迟量小。但是，因为所需要的执行计算的次数等于抽头数量的平方，所以处理负载大。

另一方面，在使用具有可分离的2D结构的插值滤波器的情况下，与用于生成在垂直方向上具有分数位置的亚像素的计算独立地执行用于生成在水平方向上具有分数位置的亚像素的计算。

例如，通过使用由阴影正方形所表示的并且与亚像素b在水平方向上位于相同位置的整数位置上的六个像素执行计算来生成图1所示的仅在水平方向上具有1/2像素位置的亚像素b。通过使用由阴影正方形所表示的并且与亚像素h在垂直方向上位于相同位置的整数位置上的六个像素执行计算来生成仅在垂直方向上具有1/2像素位置的亚像素h。

此外，通过每次使用在水平线上所排列的六个像素、使用在由阴影正方形所表示的整数位置上的6×6个像素来执行六次计算，以及然后使用作为计算结果所获得的并且与亚像素j在水平方向上具有相同位置的六个像素来执行计算，从而生成在水平方向和垂直方向上均具有1/2像素位置的亚像素j。通过使用像素b、h以及j，或使用由在两侧的阴影正方形所表示的整数位置上的像素来生成1/4像素位置上的像素a、c至g、i以及k至o。

在图1中，不具有分配给其的字母符号的正方形表示整数位置上的像素，并且具有分配给其的字母符号的正方形表示各个字母符号的亚像素。对于稍后描述的图3同样适用。

如图1中所示，在传统的插值中，需要要通过插值生成的亚像素附近的最大6×6个像素。因此，在具有分数精确度的运动补偿操作中，需要比运动补偿操作的目标块大的多的区域中的像素。

如图2中所示，要对4×4个像素的块所执行的分数精确度的运动补偿操作需要与该块相对应的由有点的正方形所表示的4×4个像素，以及包括在该4×4个像素的外侧由阴影正方形所表示的像素的9×9个像素。因此，在帧间预测中执行具有分数精确度的运动补偿操作的情况下，存储参考图像的存储器的带宽用量很大。

在使用具有可分离2D结构的插值滤波器的情况下，并非所有亚像素都需要通过使用整数位置上的6×6个像素来生成。因此，与使用具有不可分离2D结构的插值滤波器的情况相比，处理负载较小，但是执行计算的次数较多。具体地，当生成亚像素j时，通过每次使用在水平线上所排列的六个像素，涉及整数位置上的6×6个像素的计算被执行六次。之后，需要通过使用作为计算的结果所获得的六个像素来执行计算。因此，执行计算的次数多，并且延迟量也大。

有鉴于此，为了减少插值滤波器中的处理负载和延迟，提出了一种方法，如图3中所示该方法通过使用具有整数位置并且在倾斜方向上所排列的像素执行单一计算来生成亚像素e、g、j、m以及o中的每个亚像素。