[发明专利]利用立体对应性的实时深度提取

说明书

背景技术

深度信息能够提供图像数据的附加维度，并且可用于解决诸如场景渲染、图像/视频分析和解释、对象检测和识别、以及远程存在检测的各种图形相关应用所带来的挑战。一旦在图像之间已经确立像素间对应性，立体像对照相可用于从一对图像提取深度信息。然而，从立体图像提取深度信息的常规技术会提供非稳定结果，可能要求高的计算力，并且可能不适于实时处理。

附图说明

通过阅读下面的说明书和随附的权利要求书，以及通过参考下面的附图，本发明的实施例的各种优点对于本领域的技术人员将变得清晰，其中：

图1A-1D为在根据实施例的深度信息提取过程中所涉及的图像示例的再现；

图2为根据实施例的深度信息提取过程的示例的框图；

图3为根据实施例的构造三维图像的方法的示例的流程图；

图4A和4B为根据实施例的局部近似曲线的示例的绘图；

图5为根据实施例的图像分析金字塔的示例的框图；以及

图6为根据实施例的系统的示例的框图。

具体实施方式

实施例可提供在多个矫正后图像之间确定一维差异的计算机实现方法。可以至少部分地基于一维差异而从多个矫正后图像中提取深度信息。

实施例还可以包括具有指令集的计算机可读存储介质，如果指令由处理器执行，则使计算机确定多个矫正后图像之间的一维差异。指令还能够使计算机至少部分地基于一维差异而从多个矫正后图像提取深度信息。

其它实施例可以包括一种系统，所述系统具有捕获第一图像的第一照相机、捕获第二图像的第二照相机、以及处理器。所述系统还可以包括具有指令集的计算机可读存储介质，如果由所述处理器执行，所述指令使所述系统矫正第一图像和第二图像以获得多个矫正后图像，并且确定多个矫正后图像之间的一维差异。所述指令还能够使计算机：至少部分地基于一维差异来从所述多个矫正后图像提取深度信息，以及至少部分地基于所述深度信息来构造三维图像。

现在转到图1A-1D，显示出根据多个矫正后的两维（2D）图像构造三维（3D）图像的示例，其中图像可以是从摄录像机或其它视频捕获设备获得的视频帧数据的一部分。尤其是，图1A示出了利用聚焦到对象11上的第一照相机（例如，左侧照相机）捕获的第一图像10，并且图1B示出了利用也聚焦到对象11上的第二照相机（例如，右侧照相机）捕获的第二图像12，其中图像10、12可相对于彼此在垂直方向上被矫正（例如，对齐）。如进一步详细讨论的，相对于彼此矫正图像10、12能够使能图像10、12的简化深度提取和实时分析。图1C示出了表示图像10、12之间的像素间差异的差异图14。因此，如果差异图14要应用于第一图像10，则结果可能是第二图像12。图1D演示了矫正后图像10、12和差异图14可用于利用诸如三角测量的各种公开技术构造3D图像16。

图2示出了多分辨率（例如，金字塔形）数据结构能够用于快速检测图像之间的大的差异（例如，评估水平对应性）的方案。如更加详细讨论的，差异检测可以开始于数据金字塔的上层级（例如，其中最高层级具有最小的像素邻域和最大的分辨率），其中为层级“n”确定的差异能够进行上采样并且用作对层级n-1的差异确定的初始估计。图示的方案表明，左侧图像18的像素数据与来自金字塔中较高层级的差异图20组合，以获得左侧图像18的“扭曲”版22的像素数据。图示的扭曲版22可沿箭头21进行校正，从而与右侧图像24的像素数据相似/等价。扭曲版22的校正可用于解释使用来自另一层级的差异图20当作当前层级的差异确定的初始估计。

现在转向图3，示出了构造3D图像的方法26。方法26可在可执行软件中实现为逻辑指令集，其存储在诸如随机存取存储器（RAM）、只读存储器（ROM）、可编程ROM（PROM）、固件、闪速存储器等存储器的机器或计算机可读介质中，在使用诸如专用集成电路（ASIC）、互补金属氧化物半导体（CMOS）或晶体管-晶体管逻辑（TTL）技术的电路技术的固定功能逻辑硬件中，或其任意组合。例如，实施方法26中所示的操作的计算机程序代码可以一种或多种编程语言的任意组合编写，包括诸如Java、Smalltalk、C++等面向对象的编程语言以及诸如“C”编程语言或类似编程语言的常规的过程编程语言。