[发明专利]具有倾斜支持窗口的分层视差假设生成

说明书

一种方法包括使用成像系统的至少一个成像相机捕获场景的第一图像[110]和第二图像[112]。第一图像和第二图像形成立体图像对并且各自包括多个像素。用视差假设初始化第二图像中的多个像素中的每一个。从较小像素尺寸的图像区块[308]到较大像素尺寸的图像区块，递归地确定第二图像中的多个像素中的每一个像素的视差假设的匹配成本，以生成包括多个图像区块的初始拼块式视差图[306]。在精修每一个图像区块的视差值估计并包括倾斜假设之后，生成图像的每一个像素的最终视差值估计。

背景技术

在成像系统中，可以通过将左立体图像和右立体图像关联以匹配立体图像之间的像素来获得深度成像。可以通过确定左图像和右图像之间哪些像素最相似来匹配像素。在左立体图像和右立体图像之间关联的像素可以用于确定深度信息。例如，可以使用双目视差技术将左图像中的像素的位置和右图像中的相对应的像素的位置之间的视差用于计算深度信息。可以产生包含诸如与场景中的物体相对于相机的视点多深或多远相关的信息的场景的深度信息的图像。这样的图像例如在用于诸如手势跟踪和对象识别的应用的感知计算中是有用的。

附图说明

通过参考附图，可以更好地理解本公开，并且本公开的许多特征和优点对于本领域技术人员来说是显而易见的。在不同的附图中使用相同的参考符号指示相似或相同的项。

图1是根据本公开的至少一个实施例的被配置为产生用于AR/VR应用的深度图的主动立体成像系统的框图。

图2是说明根据本公开的至少一个实施例的图像预处理器的操作的图。

图3A至图3B是说明根据本公开的至少一个实施例的图像初始化器执行分层初始化的操作的图。

图4是说明根据本公开的至少一个实施例的传播区块级下的假设的方法的流程图。

图5是说明根据本公开的至少一个实施例的精修每区块估计以推断每像素视差的方法的流程图。

图6是说明根据本公开的至少一个实施例的根据立体图像对估计深度的方法的流程图。

具体实施方式

各种深度感测技术用于包括远程呈现、3D场景重建、对象识别和机器人的计算机视觉任务中。这些深度感测技术包括选通或连续波飞行时间(time-of-flight，ToF)系统、基于三角测量的空间系统、时间结构光(structured light，SL)系统或主动立体系统。这种技术传统上是计算密集型的，或者受到其他缺点(例如，ToF系统的多路径)的影响。由于深度成像可以用于各种各样的应用，因此可能期望的是使深度成像更加准确且可靠。然而，根据立体图像对对深度进行有效估计在计算上是昂贵的，并且是计算机视觉方面的核心问题之一。经常需要多次存储器访问来从存储器中检索所存储的图像补片。因此，这些算法在存储器方面和计算方面两者是受限的。因此，计算复杂度与例如图像中的像素的数量的样本尺寸成比例地增加。

立体匹配技术的效率可以使用主动立体(即，立体匹配，其中场景纹理通过主动光投影仪增强)来提高，至少部分是由于与飞行时间或传统结构光技术相比的提高的鲁棒性。进一步，放松要求对于给定图像补片视差恒定的平面平行假设允许改善立体重建。因此，图1至图6描述了用于将图像划分成多个不重叠的区块的系统和方法。本公开提供了用于通过在这些区块上分摊计算来探索对应于视差空间平面的大得多的成本量的技术，从而消除了在确定立体对应关系时对用于计算左图像补片和右图像补片之间的相关性的任何显式窗口尺寸的依赖性。