[发明专利]一种多视点视频编码中的视点差估计/补偿方法

说明书

技术领域

本发明涉及视频编码技术领域，特别涉及多视点视频编码技术，尤其涉及一种多视点视频编码中的视点差估计/补偿方法。

背景技术

随着多媒体技术的发展，人们不再满足于传统的固定视点视觉以及2维(2D)平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内出现了对于自由视点视频和3维(3D)立体视频的需求。例如能够由观看者选择视角的自由视点电视(Free view-point Television，FTV)，以及为处于不同位置的观看者播放不同视角视频的3维电视(3 Dimensional Television，3DTV)。

多视点视频编码(Multi-view Video Coding，MVC)是实现自由视点视频类和3D视频类应用的一项关键技术，该技术用于对在不同的空间位置以不同的角度同时获取同一场景的一组视频信号进行有效的压缩编码。所获得的这一组视频被称为多视点视频。当前多视点视频编码的研究重点在于如何充分利用不同视点视图之间的空间相关性，以进一步提高多视点视频的编码效率。

在进行进一步介绍之前，首先明确几个有关概念。视点差(Disparity)是指当处于不同空间位置的多个摄像机同时拍摄同一场景时，场景中的一个三维点在同一时刻的任意两个视点的图像平面中的二维坐标之间的位移，而视点差向量(Disparity Vector，DV)则是一组三维点的视点差所构成的向量。运动差是指固定空间位置的一个摄像机拍摄一个场景时，该场景中的一个三维点在该视点的不同时刻的图像平面的二维坐标之间的位移，而运动差向量(MV)则是一组三维点的运动差所构成的向量。从上述定义可以看出，DV反映的是不同视点视图之间的空间相关性，而MV反映的是同一视点视图的时间相关性。

高级视频编码(Advanced Video Coding，AVC)技术是一种发展得相对成熟的单视点视图编码技术，该技术能够很好地利用同一视点视图的时间相关性，根据MV进行预测编码，从而获得较高的编码增益。视点差补偿技术的思想就是在搜索DV之前对DV进行预处理，使得处理后的DV的特性与MV的特性基本相似，因而可以像处理MV那样处理DV，从而实现在多视点视频编码过程中利用AVC的框架进行预测编码。在单视点视图的预测编码过程中估计MV时，一般使用大小为16或32的搜索窗就可以找到最佳匹配块；而在多视点视图的预测编码的过程中为了找到最佳匹配块，估计DV时需要使用大小为96或128的搜索窗，这将极大地增加编码器的计算量。为了降低计算量，如果在视图间预测编码时使用较小的搜索窗，对于大于搜索窗尺寸的DV，则无法找到它的真实值，导致视点差补偿编码的效率降低。

专利号为US9,043,838的美国专利“View offset estimation forstereoscopic video coding”提出了一种全局视点差补偿技术，用于减小AVC编码器在预测DV时的搜索范围并提高编码效率，下面以仅一个方向上存在视点差的情况对该技术进行说明。图1为水平相邻排列的两台摄像机在同一时刻分别拍摄的图像，以左侧摄像机拍摄的画面为参考图像，右侧摄像机拍摄的画面为待编码图像，显然这两幅图像在水平方向上存在视点差。全局视点差补偿技术采用公式(1)

ME(x)=Σi,j∈R|img0(i,j)-img1(i-x,j)|R---(1)]]>