[发明专利]基于边界的高分辨率深度图生成方法及系统

说明书

【技术领域】

本发明涉及三维图像处理，特别涉及使用基于边界的处理方法来生成高分辨率深度图。

【背景技术】

在三维（3D）图像处理（如3D计算机图形、3D建模、3D动画生成等）中，经常要使用到物体距离一个视点的深度信息。例如，包含场景物体表面离一个视点的距离信息的深度图（如一个图像或图像通道）可以用于提供二维（2D）图像中的深度信息。

但是，获取或得到高分辨率的深度信息还是很困难的。例如，尽管能拍摄高分辨率2D图像的相机（在此称作图像照相机）已经很常见了（常见到包含在许多消费电子设备中，例如手机、平板装置、和手提电脑），而且并不昂贵，但是能够拍摄一个场景的深度信息的相机还很不常见，并且相当昂贵。这种深度相机通常只提供低分辨率的深度信息，因此不能准确地映射到相应的高分辨率图像上。

尽管已经有各种方法尝试对低分辨率深度信息进行采样或插值而得到更高分辨率的深度信息，但是这些方法都不是很令人满意。例如，现有技术的插值方法使用插值算法，检查包含不可靠样本的深度样本，因此使得插值结果中有不可靠的样本输入。另外，现有技术的插值方法不能准确地确定深度不连续之处，因此在生成的深度图中产生模糊和不正确的物体边界。而且，例如由于对每个像素进行双边滤波或插值、实施比较大的插值样本窗口大小等等，现有技术的插值方法通常需要相当多的处理过程。因此，上采样深度图通常不准确，而且还需要相当多的处理资源。

【发明概述】

本发明是关于通过使用基于边界的处理技术从低分辨率深度信息产生高分辨率深度图的系统和方法。本发明实施例提供的基于边界的处理技术使用边界检测和基于边界的插值算法，用于从低分辨率深度信息和高分辨率图像信息中产生高分辨率深度信息。根据本发明实施例，边界检测算法可以检测到物体边界（如深度不连续之处），其中低分辨率深度样本通常是不准确的，因此需要根据高分辨率图像信息进行改善。根据本发明实施例，基于边界的插值算法使用边界检测算法提供的边界信息，以改善中间结果的上采样深度信息（如空间插值低分辨率深度信息），从而提供更准确和可靠的高分辨率深度信息。

前述已经相当广泛地阐述了本发明的特征和技术优势，由此将更加容易理解以下本发明的详细描述。本发明的其他特征和优势将在其后描述，并构成本发明的权利要求部分。本领域普通技术人员应该理解，在此披露的概念和具体实施例可以作为一个基础，用来修改或设计其它结构来执行本发明的相同目的。本领域普通技术人员也应该认识到，这种等同的构造没有脱离由所附权利要求阐述的本发明精神和范围。被看作是本发明特征的新颖性特征，无论是其组织还是运算方法，与其它目的和优势一起，通过以下的描述并结合附图，将会得到更好的理解。但是，需要强调的是，每个附图仅是用作描述和叙述，并不是意图限制本发明。

【附图说明】

为了更完整地理解本发明，现结合附图参照以下的描述，其中：

图1显示本发明实施例基于边界的深度处理的系统功能模块示意图；

图2显示本发明实施例的能提供基于边界的深度处理功能的计算机系统；

图3显示本发明实施例的边界检测逻辑提供边界检测的运行流程图；

图4显示本发明实施例的一个可以用于拟合不同深度的样本间隔统计而用于归一化的多项式曲线；

图5A和5B描述本发明实施例的从深度梯度和图像梯度中产生联合深度和图像梯度；

图6显示本发明实施例的基于边界的插值逻辑提供高分辨率深度信息的运行流程图；

图7显示本发明实施例的一个非边界块及其8个相邻块表示；

图8A和8B显示本发明实施例的被分割成子区域的边界块；

图9显示本发明实施例的边界块及其8割相邻块。

【发明详述】

图1是根据本发明实施例的基于边界的深度处理系统的高层（highlevel）功能模块示意图。运行时，所示实施例的系统100使用基于边界的处理方法从低分辨率（如≤600x400像素）深度信息110（如由一个深度相机拍摄的低分辨率深度图111提供的）和高分辨率图像信息120（如由一个图像照相机拍摄的高分辨率图像121提供的）中产生高分辨率（如≥1024x768像素）深度信息151。