[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本发明涉及一种图像处理装置和图像处理方法。特别地，本发明旨在提高多视角图像编码中的编码效率。

背景技术

近年来，将图像信息处理为数字信息并由此实现高效率信息传输和累积的设备，或是与诸如通过如离散余弦变换和运动补偿的正交变换进行压缩的MPEG等标准兼容的设备已经广泛用于广播站和一般家庭。

特别地，MPEG2（ISO/IEC13818-2）定义为通用图像编码技术，其目前为专业人士和普通消费者广泛应用。进一步地，虽然要求更大量对于编码和解码的计算，但是能够实现比诸如MPEG2等编码技术更高的编码效率的H.264和MPEG-4Part10（下文中称为“H.264/高级视频编码（AVC）”）已经变成标准。

采用这些图像编码技术，通过减少时间和空间方向上的冗余，使信息量变小。对于对其进行图片内预测性编码以减少空间冗余的I-图片，通过利用例如像素之间的相关性，生成预测图像。对于对其进行图片内预测性编码以减少时间冗余的P-图片，通过参考先前的图像，以块为基础检测运动向量，通过利用检测到的该运动向量，生成预测图像。至于B-图片，通过参考先前和后续图片，以块为基础检测运动向量，通过利用检测到的该运动向量生成预测图像。在B-图片中，第一参考图片称为L0预测的参考图片，第二参考图片称为L1预测的参考图片。

根据H.264/AVC，参考图片可以从已编码的图片中选择。通过参考索引管理所选的参考图片。参考索引用作指示当检测运动向量时被参考的图片的信息，将指示检测到的运动向量的信息和参考索引一起进行编码。

参考索引设为0值或更大值。参考索引的值越小，编码之后的信息量（编码量）越小。进一步地，可以任意地将参考索引分配给参考图片。因此，将具有小值的参考索引分配给具有大量将被参考的运动向量的参考图片。通过这样做，减少参考索引编码时的编码量，并提高编码效率。

专利文献1公开了一种对隔行扫描式2D图像执行字段编码时将具有小值的参考索引分配给时间上靠近正在被编码的图片的参考图片的技术。

引用列表

专利文献

专利文献1：日本专利申请特开No.2010-63092

发明内容

本发明要解决的问题

同时，在帧连续（FS）-AVC或多视角视频编码（MVC）中，不仅要进行利用时间方向上的图像之间的相关性的时间预测，还要进行利用不同视点的图像之间的相关性的视差预测。

图1示出了一种传统的参考索引分配方法，或当通过例如MVC对两个视点的移动图像数据进行编码时参考索引的分配方法。应注意，Cam0表示左眼图像的图像数据，Cam1表示右眼图像的图像数据。Cam1的图像数据是通过使用Cam0的图像数据作为参考图片的图像数据而编码的相关视角的图像数据。当对相关视角的图像数据进行编码时所参考的Cam0的图像数据是基础视角的图像数据。

如实箭头所示的时间预测中将要被参考的Cam1的P-图片和如虚箭头所示的视差预测中参考的Cam0的I-图片和P-图片用作Cam1的图像数据中的P-图片的参考图片。参考图片通过各示为参考索引ref_idx的编号进行管理，为每个参考图片分配0值或更大值。例如，将参考索引ref_idx=0分配给时间预测参考图片，将参考索引ref_idx=1分配给视差预测参考图片。

在不同视点的图像之间的相关性明显变低的情况下，即使如图1所示将参考索引分配给参考图片使得可以参考一个以上的图像，也基本上仅能实现与参考单一图像的情况相同的效果。换言之，当左眼图像和右眼图像之间的相关性非常低时，利用不同视点的图像的预测是低效的。因此，利用参考索引ref_idx=1的视差预测是无效的。其结果是，仅执行利用参考索引ref_idx=0的时间预测，基本上获得与参考单一图像的情况相同的效果。

有鉴于此，本发明旨在提供一种能够提高多视角图像编码中的编码效率的图像处理装置和图像处理方法。

问题解决方案

本发明的第一方面是一种图像处理装置，所述图像处理装置包括：特征量生成单元，生成指示不同视点的图像之间的相关性的特征量；以及参考索引分配单元，当基于所述特征量生成单元生成的所述特征量确定不同视点的图像之间的所述相关性低于预定阈值时，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片，该视差预测利用不同视点的图像之间的相关性，该时间预测利用时间方向上的图像之间的相关性。