[发明专利]一种深度视频序列的预处理方法

说明书

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种深度视频序列的预处理方法。

背景技术

在多视点视频系统中，多视点视频信号主要由多视点彩色视频序列信号和与多视点彩色视频序列信号对应的多视点深度视频序列信号组成，深度视频是多视点视频系统中非常重要的辅助信息，其可以通过深度相机进行获取，也可以通过深度估计方法计算得到，其中由于深度相机价格非常昂贵，因此目前用于测试的多视点深度视频序列大多数是通过深度估计方法计算得到的。深度视频代表的是其对应的彩色视频场景到摄像机成像平面的距离信息，它将实际距离值量化到[0，255]。为了推广应用和降低成本，用于虚拟视点图像绘制的深度视频不适合在接收端通过深度估计产生，而需要在发送端通过采集或者估计然后压缩编码再传送给接收端，因此，深度视频的压缩编码对多视点视频系统来说是非常关键的。

多视点编码信号中，包含着时间上、视点间和空间相关性。在编码过程中充分利用这些相关性来获得高的压缩效率。然而，通过深度相机获取或者通过深度估计得到的深度视频序列信息在时间方向上和对应的彩色视频序列相比，具有更多的不一致性，这种不一致性降低了深度视频的时间相关性，最终导致了深度视频的编码压缩效率的下降。此外，由于在多视点视频信号中，大多数序列都是时间方向的相关性强于视点间的相关性。相应地，在多视点视频编码中，采用了大量以时间参考为主的视点时间预测编码结构。深度视频的时间相关性的下降引起视点相关性的上升，这种以时间参考为主的预测编码结构将不能充分挖掘深度视频信号中的相关性，不能获得理想的压缩性能。

发明内容

本发明所要解决的技术问题是提供一种能够在维持虚拟视点图像绘制性能的基础上，能够有效提高深度视频序列在时间上的相关性，可大大提高深度视频序列的压缩编码效率的多视点深度视频序列的预处理方法。

本发明解决上述技术问题所采用的技术方案为：一种多视点深度视频序列的预处理方法，多视点视频信号主要由彩色视频序列和与所述的彩色视频序列对应的深度视频序列组成，该预处理方法包括以下步骤：

①记待预处理的深度视频序列为D(m，n，k)，其中，m表示深度视频序列D(m，n，k)中的深度视频帧的水平分辨率，n表示深度视频序列D(m，n，k)中的深度视频帧的竖直分辨率，m×n表示深度视频序列D(m，n，k)中的深度视频帧的分辨率，k表示深度视频序列D(m，n，k)中包含的深度视频帧的帧数；

②对深度视频序列D(m，n，k)作变换处理，得到变换处理后的深度视频序列，记为D′(m，k，n)，其中，变换处理后的深度视频序列D′(m，k，n)中的深度视频帧的分辨率为m×k，变换处理后的深度视频序列D′(m，k，n)中包含的深度视频帧的帧数为n；

③依次对变换处理后的深度视频序列D′(m，k，n)中每帧深度视频帧中的每列像素进行时间平滑处理，得到平滑处理后的深度视频序列，记为D″(m，k，n)，其中，平滑处理后的深度视频序列D″(m，k，n)中的深度视频帧的分辨率为m×k，平滑处理后的深度视频序列D″(m，k，n)中包含的深度视频帧的帧数为n；

④对平滑处理后的深度视频序列D″(m，k，n)作逆变换处理，得到预处理后的深度视频序列，记为D″′(m，n，k)，其中，预处理后的深度视频序列D″′(m，n，k)中的深度视频帧的分辨率为m×n，预处理后的深度视频序列D″′(m，n，k)中包含的深度视频帧的帧数为k。

所述的步骤②中对深度视频序列D(m，n，k)作变换处理的具体过程为：

②-1、依次取出深度视频序列D(m，n，k)中所有深度视频帧的第i行的m个像素的亮度分量Y，其中，1≤i≤n；

②-2、把取出的k行像素的亮度分量Y按序作为变换处理后的深度视频序列D′(m，k，n)中的第i帧深度视频帧的亮度分量Y，然后将变换处理后的深度视频序列D′(m，k，n)中所有深度视频帧的第一色度分量U和第二色度分量V的值均置为128，其中，1≤i≤n。

所述的步骤③中依次对变换处理后的深度视频序列D′(m，k，n)中每帧深度视频帧中的每列像素进行时间平滑处理的具体过程为：