[发明专利]3D图像数据分割的方法和装置

说明书

描述

本发明涉及一种3D图像数据分割的方法和装置。具体而言，本发明涉及一种基于稀疏图的3D图像数据中的实时对象分割的方法和装置。

背景技术

近来，已经可以向用户呈现3D图像内容。预期在未来几年内3D设备和视频内容量将迅速增加。

一方面，当前的3D显示技术可以重建聚合效应，即两只眼睛在相反方向的垂直旋转以维持双目视觉。另一方面，由于所得图像显示在平面上，所以适应性条件等其它重要深度线索在焦距变化时无法准确地再现。因此，在较远屏幕上显示较近对象时，较强正视差可能会导致视觉体验不佳。已为标准电影屏幕优化的视频内容看起来与电视屏幕或手持式显示设备上的完全不同。因此，图像数据，尤其是与观察者距离最近和最远的对象的深度值的差异必须适配不同应用的特殊属性以维持高质量的深度知觉。该操作表示为内容重定向或内容重映射。

内容重定向通常是指为了将内容适配为所需上下文而对图像或视频帧进行的调整。在3D视频内容领域，内容重定向执行与3D视频序列有关的深度范围的调整以根据终端能力和视距优化知觉。调整深度最直接的方式是根据可用深度范围线性地移动深度。然而，这可能会导致场景中对象的扁平化。或者，可以执行非线性深度调整。非线性深度调整可能允许对例如前景中的全部对象应用位移。这可能导致3D用户体验的明显改善。此外，非线性深度调整在场景操作中提供更多的自由。

为了执行非线性深度调整，需要识别3D场景中的唯一对象。这样，可以在重定位阶段执行各个对象的深度值的独立操作。例如，前景对象可以移至图像最前面。背景对象可以移至后面。被分割的对象的不同部分之间的深度比仍可保留。

然而，用于重定向的传统方法，特别是用于非线性深度操作中的图像分割的传统方法，通常分析图像的各个像素。由于图像中存在大量像素，所以这些方法需要庞大的计算资源。

如上所述，3D设备数量稳步增长。为了使3D视频内容适配各个设备，每个设备必须对图像数据进行重定向。然而，诸如移动设备之类的小型设备只能提供有限的计算能力。

因此，需要提供3D图像内容的有效图像分割的方法和装置。

也需要3D图像内容的图像分割，其可实时应用于计算资源有限的3D图像设备。

发明内容

根据第一方面，提供了一种3D图像的3D图像数据分割方法。所述3D图像包括所述图像的多个视图，即所述图像的至少两个视图，例如所述图像的第一视图和所述图像的第二视图。所述方法包括确定所述3D图像的所述多个视图中的每个视图的局部特征；基于所述确定的局部特征确定局部特征图；以及基于所述3D图像的所述确定的局部特征图和深度图将所述3D图像数据分割为多个深度区。

本发明的基本观点在于基于3D图像的所述局部特征生成的稀疏图执行图像分割。基于稀疏图的此类分析是一种有效且可靠的将3D图像数据划分为所述多个段的方式。

根据如上所述第一方面的所述方法的第一实施形式，所述局部特征图包括多个顶点，每个顶点与多个相邻顶点连接；以及所述确定局部特征图包括将边权重分配给两个顶点之间的每个边。

通过生成包括与局部特征有关的顶点的局部特征图，顶点数量相对于每个像素具有单独顶点的传统图减少。因此，执行图像分割的计算资源减少。

根据如上所述第一方面或者根据所述第一方面的所述第一形式的所述方法的第二实施形式，分割所述3D图像数据包括：量化所述3D图像的所述深度图；以及通过确定具有相同量化深度值的连续深度图元素识别深度区。

通过量化所述深度图，大量单独的深度值被转换为已知的数量有限的量化深度值。具体而言，将范围明确的深度值分配给单个量化深度。因此，与相同量化深度值有关的相邻深度图元素可被认为与3D图像内的相同区域有关。此外，通过将边权重分配给边可以实现执行图像分割的非常有效的分析。

根据所述第一方面的所述第二实施形式的所述方法的第三实施形式，所述分割包括识别包含一致性像素的纹理区；评估所述纹理区的可靠性；以及消除不可靠纹理区。

这样，可以执行一种识别包含一致性像素的纹理区的非常简单且有效的方式。

根据所述第一方面的所述第三实施形式的所述方法的第四实施形式，所述分割还包括计算不同深度区中局部特征分布的直方图。

根据所述第一方面的所述第四实施形式的所述方法的第五实施形式，所述分割还包括基于所述纹理区进行分割。