[发明专利]视频编码方法及装置、视频解码方法及装置

说明书

技术领域

本发明涉及适合可变更观察位置或观察方向的视频技术等的视频编码及视频解码的技术。

背景技术

一般，为了在视频编码中使用时间方向的相关实现高编码效率，采用帧间预测编码。帧的编码模式有不使用帧间相关而进行编码的I帧、由过去编码的1帧预测的P帧、可由过去编码的2帧预测的B帧。

P帧中可由I帧或P帧预测，B帧中可由I帧或P帧或B帧预测。尤其在视频编码方式H.264中，可预先在编码装置内的参考图像存储器存储多个帧的解码图像，从该存储器选择参考图像用于预测。另外，P帧中输入运动图像中的时间由过去帧预测，但B帧中不仅可由过去帧预测，而且也可由未来帧预测。

图7(a)部例示了运动图像的预测关系。

在B帧中由2帧预测时(两方向预测)，插补来自2帧的图像信息，作成1帧的图像信息并作成预测图像。将从第1帧到第7帧的编码模式按IBBPBBP的顺序编码时，由于存在图7(a)部所示的预测关系，在实际编码时，将图7(a)部所示的帧的编号从左到右设为1～7，按如图7(b)部所示“1→4→2→3→7→5→6”的帧编号顺序对帧进行编码。

这里，交替运动图像为1帧内具有2场的构成，与上述同样，可按每个场设定预测关系。一般将帧与场统称为图片。另外，B帧的两方向预测中可由过去2帧或未来2帧预测。例如在视频编码方式H.264中，预先在参考图像存储器中存储多个帧的解码图像，可从该存储器选择2帧的参考图像并加以预测。这里，选择的帧的解码后的显示时刻可为编码对象帧的显示时刻的未来也可为过去。

另外，以I图片作前头的图片集合设定为图片组(GOP：group of picture)，从而能够容易实现GOP单位的编码数据随时间的随机存取功能。

GOP通过在特定图片的编码数据之前，包含表示GOP前头的信息，能够指定该图片为该图片以后的多个图片构成的COP的前头。MPEG-2中，通过插入具有特有的位组合的代码来指定是GOP的前头。

即，可在表示GOP的前头的代码间构成1GOP的编码数据。还有，可在编码数据中不对表示GOP的前头的信息进行编码，而作为与编码数据独立的信息指定GOP构成信息。

一般，在表示GOP前头的信息之后，也包含GOP的前头帧的时刻信息，在实现对于时间的随机存取时使用。另外，各图片上也可带有时刻信息。

该时刻信息例如在H.263中称为TR(Temporal Reference)。TR是以单位时间为基本的、表示帧的输出顺序的信息。例如将单位时间设定为1/30秒时，每个帧增加一个值的情况等价于帧速率为30帧/秒的情况。通常TR按固定长度被编码。

并且，关于多个摄像机视频的编码，提出了将各摄像机视频设定为GOP，在GOP间应用预测编码的同时作为一个视频信息加以编码的方法。

例如，在下述的非专利文献1或非专利文献2中，提出了定义Base GOP和Inter GOP来表示GOP间的预测关系的方法。在Base GOP中包含的图片仅参考同一GOP内包含的图片，在Inter GOP中包含的图片参考同一或其它GOP内包含的图片。Inter GOP中头部包含表示参考的GOP的参考GOP信息。

这样，如果预先具有多个摄像机输入视频，可通过切换输入视频变更观察位置与观察方向。如此就能获得拍摄的位置上的视频，但还提出了生成未拍摄到的观察位置或观察方向的视频的技术。

例如，在下述的非专利文献3中，提出了由多个摄像机输入图像生成光线空间，通过从该光线空间抽出图像信息，生成未拍摄到的观察位置或观察方向的视频的方法。

在生成这样的视频的技术中，一般在多个摄像机输入图像中被拍摄了相同的被照体时，使用这些被拍摄的图像信息，对于该被照体生成未拍摄到的观察位置或观察方向的图像信息。即，对于在多个摄像机输入图像中被拍摄的被照体，使用各摄像机输入图像的一部分生成图像信息。

作为该图像生成技术例如有适应过滤方法(例如参考非专利文献4)或表参考法(例如参考非专利文献5)。

非专利文献1：Hideaki Kimata and Masaki Kitahara，″Preliminary results on multiple view video coding(3DAV)，″document M10976 MPEGRedmond Meeting，July，2004.