[发明专利]用于主动立体声系统的基于学习的匹配

说明书

捕捉场景的第一和第二图像。该第一图像的多个像素中的每一个像素与差异值相关联。与该第一图像和第二图像的多个像素中的每一个像素相关联的图像块被映射为二元向量。因此，图像中像素的数值通过使用保留了像素的数值特性的函数而映射至二元空间。确定与该第一图像的多个像素中的每一个像素相关联的二元向量和在该第二图像中的与上述二元向量相对应的由与该第一图像的多个像素中的每一个像素相关联的差异值所指定的二元向量之间的差值。基于上述二元向量之间所确定的差值，建立该第一图像和第二图像的多个像素之间的对应性。

背景技术

在头戴式显示器(HMD)和其它成像系统中，可以通过关联左侧和右侧立体图像以匹配该立体图像之间的像素来获得深度成像。可以通过确定哪些像素在左侧和右侧图像之间最为相似来对像素进行匹配。在左侧和右侧立体图像之间关联的像素可以被用来确定深度信息。例如，左侧图像中的像素的位置与右侧图像中的相对应的像素的位置之间的差异可以被用来使用双眼差异技术计算深度信息。可以产生包含有场景的深度信息的图像，诸如与场景中的物体关于相机视点有多深或多远相关的信息。例如，这样的图像在针对诸如手势跟踪和对象识别之类的应用的感知计算中是有用的，

附图说明

通过参考附图可以更好地理解本公开，并且可以使得其多种特征和优势对于本领域技术人员是清楚明白的。不同附图中使用同样的附图标记来指示相似或相同的事项。

图1是根据本公开至少一个实施例的被配置为针对AR/VR应用产生深度图的主动立体成像系统的框图。

图2是图示根据本公开至少一个实施例的图像预处理器的将图像像素投射为二元表示形式的操作的示图。

图3是图示根据本公开至少一个实施例的基于随机采样的立体匹配优化的方法的流程图。

图4是图示根据本公开至少一个实施例的从成对立体图像估计深度的方法的流程图。

具体实施方式

在计算机视觉任务中使用各种深度感应技术，包括人类捕捉、3D场景重构、对象识别和机器人学。这些深度感应技术包括选通(gated)或连续波运行时间(ToF)、基于三角计算的空间或瞬时结构光照(SL)系统。这样的技术是计算密集的并且可能无法在主动立体(其中图案被投射在场景上)的情况下工作。在这样的图案主导情形中，经常难以基于颜色对场景中的对象进行分割。

由于深度成像可以在各种应用中使用，所以会期望更加准确且可靠地进行深度成像。然而，从立体图像配对有效地估计深度是计算昂贵的并且是计算机视觉的核心问题之一。要从存储器获取到所存储的图像块(patches)往往需要多次存储器访问。因此算法在存储器和计算两方面都受到限制。因此计算复杂度与样本大小(例如图像中的像素数量)成比例地增长。

立体匹配技术的效率可以使用主动立体(其中通过主动投光器增强场景纹理的立体匹配)而得到改善，这很大程度上是因为在与运行时间或传统结构光技术相比时有所改善的鲁棒性所致。图1至图4描述了用于无监督优化方案的系统和方法，所述方案学习对于估计在红外图像中的对应性具有辨识性的特征。本公开提供了对于在测试时间用来将所有图像块重新映射到紧凑二元表示形式的一系列稀疏超平面进行优化的技术。例如，在一些实施例中，一种从立体图像配对进行深度估计的方法包括在一对相机处捕捉场景的第一图像和第二图像。该第一图像和第二图像形成立体配对并且均包括多个像素。进一步地，该第一图像中的多个像素中的每一个像素与差异值相关联。与该第一图像和第二图像的多个像素中的每一个像素相关联的图像块被映射为二元向量。与该第一图像的多个像素中的每一个像素相关联的二元向量和该二元向量在该第二图像中的由与该第一图像的多个像素中的每一个像素相关联的差异值所指定的对应的二元向量之间的差值，被用来基于所确定的二元向量之间的差值来确定该第一图像和第二图像的多个像素之间的对应性。