[发明专利]基于HHI分层B帧预测结构的多视点视频编码的改进方法

说明书

技术领域

本发明涉及视频编码技术领域，特别涉及一种基于HHI分层B帧预测结构的多视点视频编码的改进方法。

背景技术

随着多媒体技术的发展，人们不再满足于仅仅是坐在电视机前观看传来的固定视角视频节目，况且该视角也是由拍摄时的摄像机位置而非观众自己决定的。正是由于这种需求，加之数字多媒体技术的发展以及数字摄像机成本的大幅度降低，促使了FTV(Free Viewpoint Television)和3DTV(3Dimensional Television)的出现。作为下一代的电视，它们致力于给用户提供具有三维印象并且可交互的视听体验。理论上讲，这两者并没有本质的区别，只是偏重点有所不同，FTV着眼于交互性(interoperability)，用户可以选择自己想要观看的视角和距离；而3DTV旨在提供用户三维的拟真体验。

三维印象的提供依赖于多摄像机阵列从不同角度对同一场景进行拍摄所获得的时间上同步的多视点视频序列，而摄像机阵列获得的视频数据量随着摄像机的数目增加而呈线性增加，如何存储和传输这些海量的视频数据是研究者面临的首要问题。作为FTV和3DTV系统中的重要环节，多视点视频编码(MVC，Multi-view Video Coding)应运而生，并成为以上两种应用的关键技术。MPEG组织很早就注意到了该技术潜在的巨大前景，将其先后置于3DAV组织及JVT组织下进行探索，致力于实现MVC的标准化。

MPEG框架下MVC的研究集中在三个方面：预测结构、预测工具和预处理工具，它们分别从不同的渠道提高多视点视频的编码效率。其中，MVC预测结构的研究主要是通过设计视点间和时间方向的预测关系，有效去除多视点视频信号的视点间和时间方向的冗余信息；编码工具的研究主要从利用视点间相关性和补偿视点间差异性两个角度出发，研究一些新的编码工具，以提高MVC的编码效率；预处理工具主要包括高层语法的扩展研究，它是在H.264/AVC的框架下定义一些新的语法语义，以适应和支持MVC的具体应用。

关于预测结构的研究，其关键是在合理的计算复杂度和支持随机访问的前提下寻找一种有效的参考结构，以最大限度地去除多视点视频序列中时间方向和视点间的冗余，从而提高编码效率。最直接的思路就是将各个视点的视频序列单独用现有的标准编码，显然，这不能有效的利用视点间的相关性。同一时刻各视点的帧间具有很高的相似性，各视点视频序列中存在着明显的数据冗余。相关实验也证明，与传统视频编码中利用运动估计和运动补偿来消除时间方向上数据冗余类似，利用合理的视差估计与补偿方法能有效地消除各视点的帧间数据冗余，得以有效地提高多视点视频的压缩性能。基于此，先后有GoGOP结构、顺序视点预测结构及棋盘分解结构被提出。综合评估了兼容性，编码性能和随机访问性能之后，由FraunhoferHHI(Heinrich-Hertz-Institute)提出的基于分层B帧的视点间预测和时域预测相结合的预测编码结构，获得了较高的编码效率，被JVT采纳为JMVM的参考预测结构。该方案是GoGOP结构的一种，其特点在于它是对H.264/MPEG4 AVC的直接扩展，并延用了分层的B帧结构，此结构的计算复杂度很高。

于是，很多研究者致力于通过各种方式降低HHI分层B帧预测结构的时间复杂度。时间方向的运动估计/补偿和视点间的视差估计/补偿是多视点视频序列编码中计算量最大的部分，其中视差估计/补偿类似于之前各种标准中的运动估计/补偿，只是其参考帧来自另外一个摄像机在同一时刻的图像帧。

目前，基于HHI分层B帧预测结构的多视点视频编码方法，未考虑到由于摄像机的位置关系，待编码图像边界的一些宏块很可能在相邻视点帧中找不找匹配，而对于上述找不到匹配的宏块以相邻视点帧作为参考进行帧间预测，造成编码的时间复杂度额外提高。

发明内容

本发明的目的在于提供一种基于HHI分层B帧预测结构的多视点视频编码的改进方法，它能够在不影响重构图像质量的条件下，有效地降低视频序列编码的时间复杂度。

为了达到上述目的，本发明采用以下技术方案予以实现。一种基于HHI分层B帧预测结构的多视点视频编码的改进方法，其特征在于，

对于I视的非关键帧和P视的非关键帧，其参考帧选择时间方向帧；P视的关键帧和B视的关键帧，其参考帧选择同时刻的相邻视点帧；