[发明专利]基于半像素精度边缘和图像修复的深度图像帧内预测方法

说明书

技术领域

本发明属于视频压缩技术领域，尤其是一种基于半像素精度边缘和图像修复的深度图像帧内预测方法。 

背景技术

任意视点电视(Free Viewpoint TV，FTV)是多视点视频的一项重要应用。FTV的概念最早由日本的Tanimoto实验室在2001年提出，其目标是使用户能够从任意的视角出发来观看一个3D的世界。MPEG很快意识到FTV将是3D领域中一项极富挑战的工作，因此立即着手将其标准化。FTV标准制定的第一阶段称为多视点视频编码，其目标是有效地编码多路视频数据，MVC标准已经于2009年3月制定完成。目前正在进行的FTV第二阶段被称为3D视频，这一阶段的主要目标是使制定的FTV标准能普遍地适用于不同的3D显示设备，具体包括根据需求调节深度感觉以及利用有限的数据进行高质量的视点合成等内容。 

一个完整的FTV系统通常包括采集、校正、表示、编码、传输(或存储)、解码、合成以及显示等环节。在上述环节中，FTV视频数据的表示方法是整个系统的核心，对应与不同的表示方式，整个系统的架构可能会采取不同的解决方案。目前常见的表示方法包括基于3D模型的表示法，这是传统的计算机图形学中的处理方法，将场景表示为一个几何模型和其对应的纹理图像，该方法具有较小的数据量，但对于实际场景(而非计算机模拟的)，得到其精确的几何描述往往十分困难。此外还有基于光线空间的表示法：其将实际场景映射为一种特殊的光线空间，光线空间中的截面即为一个视点，该表示方法获取任意视点的方式十分简单，但表示光线空间通常需要大量的数据，这些数据如何进行有效地压缩尚有待研究。基于多视点加深度图像的表示法是上述两种方案的折衷，它既具有表示场景几何信息的深度图像，又具有表示场景纹理信息的普通图像，并且可以方便采用现有视频编码标准进行压缩，因此被FTV参考模型所采纳， 是目前最为流行表示方法，该表示方法的核心即是深度图像，深度信息的估计、压缩以及利用深度信息进行视点合成等一系列问题正在被广泛而深入地研究。本发明针对的是深度图像的压缩问题。 

深度图像可以采用业已存在的编码标准(如H.264/AVC)进行压缩。但是，深度图像的性质与普通纹理图像的区别较大：它具有大片灰度值恒定或者缓慢变化的平滑区域(同一物体内部)以及分割这些区域的锐利边缘(各物体间的边界)。从频谱上看，深度图像的频谱主要分布在低频和高频部分，这与纹理图像差别明显，更为重要的是，深度图像中的边缘在视点合成时具有重要意义，要尽可能予以保留，这是因为边缘两侧的物体其深度差别可能非常大(例如前景和背景)，如果在压缩后的深度图像中边缘没有得到很好的保留，虽然深度图像的主观质量并不会受到太大影响，但在利用深度图像进行视点合成时不同深度的物体可能混叠在一起，产生严重的噪声。因此，大多数深度图像压缩的改进算法都是基于边缘的。 

Y.Morvan等人提出一种称为Platelet Coding的算法。该算法将深度图像不断地划分为小块，直到每个小块内的深度可以近似为(1)恒定的；(2)分区域恒定的；(3)线性的；(4)分区域线性的；然后采用(1)常函数；(2)分区域常函数(wedgelet函数)；(3)线性函数；(4)分区域线性函数(platelet函数)分别表示上述四种情况，仅编码这些函数的系数，其本质上是一种基于模型的方法。从结果上看，采用传统的编码方法，压缩后的深度图像在边缘处都出现了比较明显的模糊；而Platelet Coding对边缘的保护是比较好的。其他一些深度图像的编码方法尽管实现手段不同，但思想上与Platelet Coding都是类似的，即保留边缘。上述算法存在的问题是：采用整像素精度边缘，由于边缘像素自身所属的区域无法明确界定，使得区域划分的结果不够精确。 

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、精度高、处理速度快的基于半像素精度边缘和图像修复的深度图像帧内预测方法。 

本发明解决其技术问题是采取以下技术方案实现的： 

一种基于半像素精度边缘和图像修复的深度图像帧内预测方法，包括以下步骤： 

步骤1：在深度图像中进行半像素精度边缘检测得到边缘图像； 

步骤2：根据边缘图像进行边缘的区域划分处理和边缘优化处理； 

步骤3：根据是否包含预测子将待预测的区域分为可修复区域和不可修复区域，对可修复区域预测采用图像修复算法实现；对不可修复区域预测采用区域均值或默认值实现； 

步骤4：进行率失真优化算法。 

而且，所述步骤1中的半像素精度边缘检测方法包括以下步骤：