[发明专利]一种多视点视频的处理方法

说明书

技术领域

本发明涉及一种视频的处理方法，尤其是涉及一种多视点视频的处理方法。

背景技术

在真实世界中，观察者所看到的视觉内容取决于观察者相对于被观察对象的位置，观察者可以自由地选择各个不同的角度去观察和分析事物。在传统的视频系统中，真实的场景相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景。这些单方向上的视频序列只能反映真实世界场景的一个侧面。自由视点视频系统可以使用户自由地选择视点去观看真实世界场景中的一定范围内的任意侧面，被国际标准组织MPEG(Moving Picture Experts Group，运动图像专家组)称为下一代视频系统的发展方向。

多视点视频技术是自由视点视频技术中的一个核心环节，它能提供所拍摄场景的不同角度的视频信息。图1为多视点平行相机系统成像示意图，其中n+1个相机(或摄像机)被平行地放置以拍摄多视点视频。利用多视点视频信号中多个视点的信息可以合成用户所选择的任意视点的视频信息，达到自由切换任意视点视频的目的。但是多视点视频信号的数据量随着视点数目的增加而成倍增加，因此需要相应的多视点视频编码压缩技术来减少其庞大的数据量，以节省多视点视频信号传送的带宽和存储的空间。另一方面，由于在采集过程中各相机的场景光照、相机CCD噪声、快门速度和曝光等要素不一致，会导致不同相机采集的视频图像的颜色值差别很大，降低了后续多视点视频编码的性能和虚拟视点绘制的质量。

针对上述存在的问题，目前提出了一种典型的多视点视频的处理方法，如图2所示，在服务端，首先对多个相机采集得到的多视点视频进行颜色校正，然后对校正后的视频进行多视点视频编码，编码后的视频通过网络进行传输；在客户端，对接收到的编码后的视频进行解码，并在解码的视点间绘制虚拟视点视频图像。

现有的多视点颜色校正方法通常在全局的图像间或在图像最相似的区域间建立颜色映射关系，区域间的颜色映射需要将目标图像和源图像进行聚类分割，在最相似的区域间建立颜色映射关系，并以此映射关系对源图像进行校正。但这种颜色校正方法的精度较低。而目前，在现有的颜色校正过程中利用的前背景信息通常是采用视差估计或区域分割前背景分离手段来实现的，前背景分离的精度与视差估计或区域分割的计算能力有关，对于这两种前背景分离方法来讲，要提高精度需耗费大量的计算能力。

针对多视点视频编码，目前JVT(Joint Video Team，联合视频编码组)开发的JMVM(Joint Multiview Video Model，联合多视点视频模型)，推荐采用亮度补偿方法。该方法通过对编码宏块加权预测来补偿视差估计和补偿预测残差，从而来提高编码压缩效率，但采用这种方法，其解码后的多视点视频图像的颜色仍然不能达到一致性，并且亮度补偿对编码性能的提高并不是很大。

发明内容

本发明所要解决的技术问题是提供一种能够有效地保证解码后的多视点视频图像的颜色一致性，同时提高多视点视频的编码性能的多视点视频的处理方法。

本发明解决上述技术问题所采用的技术方案为：一种多视点视频的处理方法，它的处理过程为：对由具有n+1个相机的多视点相机系统在同一时刻拍摄的多视点视频在进行多视点视频编码处理过程中进行视频颜色校正处理，再将处理后的多视点视频通过网络传输，最后在解码的视点间绘制虚拟视点视频图像。

所述的在进行多视点视频编码处理过程中进行视频颜色校正处理的具体步骤为：

(1)将由具有n+1个相机的多视点相机系统在同一时刻拍摄的多视点视频，在时域上以帧组为编码单元进行处理，根据设定的编码预测结构，将一帧组内I帧所处的视点定义为参考视点，记为R，其他的视点定义为源视点，记为S；

(2)判断需编码的当前帧组是否为第一个帧组，如果是，则根据设定的编码预测结构，对参考视点的参考视点视频和源视点的源视点视频在时域上和空域上进行编码预测，并执行步骤(5)；否则，继续执行；

(3)利用前一个帧组的参考视点和源视点的前背景分离信息，对当前帧组的源视点视频进行颜色校正；

(4)根据设定的编码预测结构，对参考视点视频和颜色校正后的源视点视频在时域和空域上进行编码预测；

(5)根据当前帧组内的每帧中的每个宏块采用的编码模式信息，分别对参考视点和源视点进行前背景分离处理，得到当前帧组的参考视点和源视点的前背景分离信息；

(6)判断当前帧组是否为最后一个帧组，如果是，则结束；否则，跳转步骤(3)对下一个帧组进行处理。