[发明专利]实时立体匹配

说明书

背景

立体匹配是其中将从稍微不同的视角拍摄的一场景的两个图像(立体图像对)进行匹配以找出描绘同一场景元素的各图像元素的差别(位置上的差异)的过程。差别提供与场景各元素到相机的相对距离有关的信息。立体匹配使得差别能够被计算并且从而可以找出环境中各对象的表面的深度。可以使用包括相隔已知距离的两个图像捕捉设备的立体相机来捕捉立体图像对。

立体匹配在计算上是复杂的，因为要搜索大量的可能匹配；立体对中的左图像中的图像元素可以与立体对中的右图像中的任何图像元素相匹配。已经开发出用于立体匹配(又称为立体对应问题)的各种办法并且一般在结果的精确性和进行计算所需的速度和资源之间存在折衷。

称作主动立体的一种办法涉及用包括点、团块、线或其他图案的照明图案来照明场景。该照明图案在立体图像对中被立体相机捕捉并且可以被用来帮助降低立体对应问题的复杂度。

以下描述的各实施例不限于解决已知立体相机匹配过程的缺点中的任一个或全部的实现。

概述

下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。

描述了实时立体匹配，例如，用以找出环境中各对象距捕捉各对象的立体图像流的图像捕捉设备的深度。例如，深度可以被用来控制增强现实、机器人、自然用户界面技术、游戏及其他应用。使用并行处理单元来处理用或没用投射到环境上的照明图案获得的立体图像流或单个立体图像以获得深度图。在各实施例中，并行处理单元并行地传播与差别图中的各行或各列中的深度相关的值。在各示例中，可以根据立体对的两个图像之间的相似度测量来传播值；传播可以是立体图像流的各帧的差别图之间的时间上的，并且可以是左或右差别图内的空间上的。

通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。

附图简述

根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：

图1示出捕捉环境中各对象的立体图像对的流的立体相机(或者主动或者被动)，并且示意性地解说了计算用于游戏系统、增强现实系统、自然用户界面、机器人系统或其他系统的输入的差别值的实时立体匹配引擎；

图2是树的立体图像对的示意图，并且解说了可以如何使用立体匹配来计算树的差别；

图3是主动立体相机安排的示意图；

图4是图1的立体匹配引擎处的示例方法的流程图；

图5是根据单个立体图像对计算差别图的方法的流程图；

图6是更加详细的图4的时间传播过程的示例的流程图；

图7是更加详细的图4的空间传播过程的示例的流程图；

图8是空间传播的示例向前和向后传递的示意图；

图9是检查差别图中错误差别的方法的流程图；

图10示出可在其中实现实时立体匹配的各实施例的示例性基于计算的设备。

在各个附图中使用相同的附图标记来指代相同的部件。

详细描述

下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。

虽然在本文中将本发明的示例描述并示出为在具有立体图像流的立体系统中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会领会，本发明的示例适于包括主动立体系统和被动立体系统的各种不同类型的立体系统中的应用，其中单个立体对被独立于其他立体对处理。

图1示出了被动立体相机对108，其可以被用来捕捉环境中各对象110的立体图像对的流104。该被动立体相机对108可以在环境中移动或者可以被固定。该被动立体相机对108包括彼此相隔已知距离并被安排成使其视野基本重叠的两个图像捕捉设备。图像捕捉设备可以是红外相机、RGB相机或其他类型的相机。