[发明专利]处理三维场景的深度数据

说明书

技术领域

本发明涉及用于处理三维[3D]图像数据的一种信号处理设备、一种方法以及一种计算机程序，所述3D图像数据包括二维[2D]图像数据和与其对应的2D深度数据。

遍及全文，在没有维数的显式指示的情况下对图像数据或深度数据的任何引用将分别指的是2D图像数据或2D深度数据。还应注意的是，术语‘图像数据’可以指的是静止图像的图像数据或视频序列中的帧的图像数据。

用于处理3D图像数据的各格式中的一个是‘图像加深度’格式(还被称为‘2D加深度’)，其中表示3D场景的第一视点的图像数据伴有包括指示该图像数据内的对象朝相机和/或观察者具有的距离的深度值的深度数据。‘图像加深度’格式典型地提供表示3D场景的有效方式。

为了显示以‘图像加深度’格式传送的3D场景，可能需要附加的图像数据用于表示该3D场景的第二视点。附加的图像数据可以在接收机侧从输入图像数据和深度数据重新创建。为此，接收机可以包括所称的视点生成器，其根据深度数据来移位输入图像数据的部分以生成附加的图像数据。视点生成还被称为基于深度的图像渲染。WO 1997/023097-A3公开了基于深度的图像渲染器的示例。

背景技术

用于以‘图像加深度’格式使用的深度数据可能是不完美的。例如，深度数据可以通过所称的2D至3D转换来生成，在所述2D至3D转换中输入图像数据被用作为用于估计深度数据的基础。这样的确立有时可能是不正确的，使赝像出现在深度数据中，这在视点生成之后，可以使赝像在所显示的3D场景中变得可见。这样的赝像还可以出现在使用所称的立体至深度转换时，在所述立体至深度转换中，立体图像对被用作为用于生成深度数据的基础。WO 2007/132397-A2公开了2D至3D转换过程的示例。2D至3D转换和立体至深度转换过程是深度数据生成过程的示例。

为了减少存在于深度图中的赝像， 2010年11月“Advances in Visualization, Imaging and Simulation”中Yang-Keun Ahn等人的公开“Boundary-Based Depth Image Improvement”公开了使用中值滤波器来从深度图去除噪声以便改进随后的基于深度的图像渲染。

发明内容

使用中值滤波器以便减少存在于深度数据中的赝像的问题是赝像的减少是不足的。

本发明的目的是提供用于提供深度数据中赝像的改进减少的设备、方法以及计算机程序。

根据本发明，这个目的被实现在于信息处理设备被提供用于处理三维[3D]图像数据，所述3D图像数据包括二维[2D]图像数据和与其对应的2D深度数据，并且所述信号处理设备包括：输入端，其用于接收2D图像数据和2D深度数据；第一离群值(outlier)检测器，其用于从2D深度数据的第一空间邻域中的其他深度值确立深度值的统计深度偏差；第二离群值检测器，其用于从2D图像数据的第二空间邻域中的其他图像值确立图像值的统计图像偏差，所述深度值表示所述图像值的深度；以及深度值生成器，其用于取决于统计深度偏差和统计图像偏差，在统计深度偏差超过统计图像偏差时提供替换深度值，所述替换深度值具有比所述深度值更低的统计深度偏差。

在本发明的另一个方面，提供了用于处理三维[3D]图像数据的方法，所述3D图像数据包括二维[2D]图像数据和与其对应的2D深度数据，并且所述方法包括：接收2D图像数据和2D深度数据；从2D深度数据的第一空间邻域中的其他深度值确立深度值的统计深度偏差；从2D图像数据的第二空间邻域中的其他图像值确立图像值的统计图像偏差，所述深度值表示所述图像值的深度；以及取决于统计深度偏差和统计图像偏差，在统计深度偏差超过统计图像偏差时提供替换深度值，所述替换深度值具有比所述深度值更低的统计深度偏差。

在本发明的另一个方面，提供了包括用于使处理器系统执行所阐述的方法的指令的计算机程序。

根据本发明的措施提供了用于接收2D图像数据和2D深度数据的输入端。2D深度数据对应于2D图像数据，因为2D深度数据包括指示2D图像数据的相应图像值的深度的深度值。在这里，图像值被理解成指示亮度和/或色度。因此，2D图像数据包括关于3D场景的亮度和/或色度的信息，然而2D深度数据包括关于3D场景的深度即朝摄像机和/或观察者的距离的信息。