[发明专利]活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序

说明书

一边预测由多个不同的视点的活动图像构成的多视点活动图像一边进行编码/解码的活动图像编码/解码装置具备：对应区域设定部，针对编码/解码对象区域设定深度图上的对应区域；区域分割部，设定作为对编码/解码对象区域进行分割后的区域的预测区域；视差矢量生成部，按照每个预测区域，使用对应区域内的该预测区域所对应的区域中的深度信息来生成针对参照视点的视差矢量；运动信息生成部，基于针对参照视点的视差矢量，根据参照视点运动信息来生成预测区域中的运动信息；以及预测图像生成部，使用预测区域中的运动信息来生成针对预测区域的预测图像。

技术领域

本发明涉及对多视点活动图像进行编码和解码的活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序。

本申请基于在2013年10月17日向日本申请的特愿2013-216526号要求优先权，并将其内容引用于此。

背景技术

以往，已知由使用多个摄像机拍摄了相同的被摄物和背景的多个图像构成的多视点图像（Multiview images：多视点图像）。将该使用多个摄像机拍摄的活动图像称为多视点活动图像（或多视点视频）。在以下的说明中，将使用1个摄像机拍摄的图像（活动图像）称为“二维图像（二维活动图像）”，将使用位置、方向（以下称为视点）不同的多个摄像机拍摄了相同的被摄物和背景的二维图像（二维活动图像）组称为“多视点图像（多视点活动图像）”。

二维活动图像关于时间方向具有强的相关性，通过利用该相关性，从而能够提高编码效率。另一方面，在多视点图像或多视点活动图像中，在各摄像机被同步的情况下，各摄像机的视频的相同的时刻所对应的帧（图像）是从不同的位置拍摄了完全相同的状态的被摄物和背景的帧（图像），因此，在摄像机间（相同的时刻的不同的二维图像间）具有强的相关性。在多视点图像或多视点活动图像的编码中，通过利用该相关性，从而能够提高编码效率。

在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编码标准的H.264、MPEG–2、MPEG–4为首的以往的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用了与编码对象帧过去或未来的多个帧的时间相关性的编码。

关于在H.264中使用的运动补偿预测技术的细节，例如被记载在非专利文献1中。对在H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测将编码对象帧分割为各种尺寸的块，在各块中允许具有不同的运动矢量和不同的参照帧。通过在各块中使用不同的运动矢量，从而实现对按照每个被摄物而不同的运动进行补偿后的精度高的预测。另一方面，通过在各块中使用不同的参照帧，从而实现考虑了由于时间变化而产生的遮挡（occlusion）的精度高的预测。

接着，对以往的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同在于，在多视点活动图像中除了摄像机间的相关性之外还同时存在时间方向的相关性。可是，在哪一种情况下均能使用相同的方法来利用摄像机间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。

关于多视点活动图像的编码，为了利用摄像机间的相关性，以往存在利用将运动补偿预测应用于相同时刻的被不同摄像机拍摄的图像的“视差补偿预测”来对多视点活动图像高效率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面上被摄物上的相同部分所存在的位置的差。图8是示出在摄像机（第一摄像机和第二摄像机）间产生的视差的概念图。在图8所示的概念图中，垂直地俯视光轴平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上投影被摄物上的相同的部分的位置通常被称为对应点。