[发明专利]图像编码装置、图像解码装置、图像编码方法以及图像解码方法

说明书

本申请是国际申请日为2013年3月25日、国际申请号为PCT/JP2013/058497、国家申请号为201380017830.9、发明名称为“图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序”的发明专利申请的分案申请。

技术领域

本发明涉及图像编码装置、图像解码装置、图像编码方法以及图像解码方法。

背景技术

通过记录或者传输多个视点的图像，并将其再现，能够观赏基于作为视听者的用户的喜好的观察角度的图像。

作为一例，DVD视频中的多角度影像预先准备了基于认为视听者可能感兴趣或者制作方想让视听者看的多个视点的同时刻的影像。用户通过在再现时进行适当的操作，能够切换到任意的影像的再现而视听。

为了实现如上述多角度影像的功能，需要预先记录与各角度(视点)对应的多个影像的全部。因此，例如视点的数目越多则影像内容的数据尺寸越庞大。因此，现实中，例如限定于制作方尤其想让视听者看或者视听者可能尤其感兴趣的场景而准备多角度影像，例如在不超过记录介质的容量的范围内制作影像内容。

例如，尤其，对体育、演唱会、舞台剧等的影像，用户感兴趣的视点是多样的。从这样的观点出发，优选能够对用户提供基于尽可能多的视点的影像。

以这样的期望为背景，已知如下的图像编码装置：对多个视点图像进行编码，且还对与这些视点图像对应的深度信息进行编码，生成包括这些编码数据的流数据(例如，参照专利文献1)。

该深度信息是表示视点图像内的各个被拍摄体与观察位置(照相机位置)的距离的信息。通过基于深度信息和与照相机位置有关的信息的运算而求出视点图像内的各被拍摄体在三维空间上的位置，从而能够虚拟地再现所拍摄到的场景。并且，通过在与其他照相机位置对应的屏幕上将所再现的场景进行投影变换，能够生成与从任意的视点观察的影像相同的影像。

深度信息是将通过照相机等的摄影装置拍摄时的视点位置(照相机位置)至摄影图像内的各被拍摄体的距离(＝深度)在预定的数值范围(例如8比特)进行了数值化的信息。而且，深度信息是将如上所述那样进行了数值化的距离变换为像素的亮度值的单色图像的形式。由此，也可以将深度信息作为图像来进行编码(压缩)。

在专利文献1的图像编码装置中，关于输入的多个视点图像，根据作为多视点图像编码方式之一的MVC(Multi-view Video Coding，多视点视频编码)，采用并用了时间方向的预测编码和视点方向的预测编码的编码方式。而且，在专利文献1的图像编码装置中，关于深度信息，也通过并用时间方向和视点方向的预测编码而提高编码效率。

此外，作为对多视点图像和深度图像进行编码的影像编码方法，已知如下的方法。即，在该影像编码方法中，有如下方法：基于深度图像(距离图像)和照相机的位置关系，生成基准视点以外的视点中的视差补偿图像，在所生成的视差补偿图像与实际的输入图像之间进行预测编码(例如，参照专利文献2)。即，该影像编码方法试图利用深度图像来提高视点图像的编码效率。在这样的影像编码方法中，需要在编码时和解码时获得相同的视差补偿图像，且使用一旦编码之后再次解码的深度图像而生成视差补偿图像。因此，视点图像的编码以及解码依赖深度图像的编码结果和解码结果。

此外，还已知如下的影像编码方法。即，如下方法：在与视点图像(Video)一同对深度图像(定义为多个辅助分量(DEPTH：MultipleAuxiliary Components)之一)进行编码时，将在视点图像的预测编码时获得的运动向量等的信息利用于深度图像的编码(例如，参照非专利文献1)。在该影像编码方法的情况下，与专利文献2时相反，深度图像的编码以及解码依赖视点图像的编码结果和解码结果。

现有技术文献

专利文献

专利文献1：特开2010-157823号公报

专利文献2：特开2007-36800号公报

非专利文献

非专利文献1："Coding of audio-visual objects：Visual"，ISO/IEC14496-2：2001

发明内容

发明要解决的课题

通过如上述专利文献2或非专利文献1那样对视点图像和深度图像进行编码，能够以比较少的数据量来生成与多个视点对应的影像。但是，这些编码方法例如一方面将深度图像的信息利用于视点图像的编码，另一方面将视点图像的信息利用于深度图像的编码这样相互的依赖关系不同。此外，专利文献1的编码在视点图像和深度图像之间没有利用关系。