[发明专利]采用异步传感器的场景三维重建方法

说明书

该发明涉及一种采用异步传感器的场景三维重建方法。

发明背景

基于由拍摄同一场景的图像的至少两个同步相机所拍摄的图像来进行三维重建是已知实践。第一个立体视觉算法出现在二十世纪七十年代。近年来已经有了显著的进展。这一进展涉及到日益高效的匹配算法。

所使用的光学传感器包括被按照矩阵来安排的基本接收器(例如相机的像素)，以便从各自单独的立体角观察所述场景，并按照规律的时间间隔(通常每秒若干图像)捕获场景的图像。然后，每个图像由值(每个基本接收器一个值)的表来表示，每一个值表示由相应基本接收器所接收到的来自场景的信号的一个物理特征，例如光照强度。

更确切而言，每隔时间增量t_k，并且对于每个放置在x,y处的基本接收器，这些光学传感器会生成信息项f_k(x,y)＝δ(t,t_k)·f(x,y,t)。其中f是放置在x,y处的接收器感知的光照强度，且δ是克罗内克(Kronecker)符号。然后，这样的传感器发回的信息项是矩阵或者帧I_k＝{f_k(x,y)},x∈N,y∈M，其中N,M是矩阵的维数，这一信息是每隔时间增量进行发送的。

然后，匹配算法搜索这些信息项以寻找可归因于该场景的同一个元素的模式，并将对应的基本传感器匹配在一起。知道了这些相匹配的基本接收器的位置，就很容易通过三角测量来获得这两个基本接收器所观察的场景的点，并因而将其纳入该场景的三维重建中。

每一图像可以表示为若干兆字节的大小，并且速率是每秒若干图像(典型的是每秒24幅图像)，这表示相当大的带宽。然后，三维重建算法在各个传感器所拍摄的图像中执行对模式的搜索，同时带有将与场景的同一个元素相对应的模式匹配在一起的目的。这些算法需要会消耗大量功率和计算时间的软件包，这对实时应用而言是不可想象的。

发明主题

本发明的主题是一种允许用合理计算装置来实时实现的场景三维重建方法。

发明公开

为了达到这个目标，提出一种场景的三维重建方法，包括：

-实现至少两个传感器，每个传感器包括一系列基本接收器，所述基本接收器被安排成以从分开的各自立体角观察场景并且各自都对所述接收器接收到的源自场景的信号的物理特性敏感。

-实现三维重建算法，所述算法包括使用由传感器中的每一个所生成的信号来匹配该传感器的接收器的步骤；

根据本发明，所述方法包括传感器的使用，每个传感器适于发出事件异步流，所述事件指示在给定时刻由基本接收器之一接收到的信号的变化，所述匹配包括通过选择时间上接近的事件将每个传感器生成的事件匹配在一起。

使用这些传感器使得显著地减少来自传感器的信息输出以及相当大程度地简化匹配成为可能。匹配时间上接近的事件实际上归结为匹配每个传感器上的生成所匹配的事件的接收器。采用适中的处理装置，实现该匹配是非常简单的。

本发明的三维重建方法可以采用合理的装置实现，例如配置有合适的数据采集卡的简单的个人计算机。

附图说明

借助于附图将更好地理解本发明，附图中：

-图1是示出了根据所述发明的观察同一个场景的两个异步传感器的焦平面的示图；

-图2是由图1中传感器检测到的事件的时序图；

-图3是示出了根据所述发明的观察同一个场景的三个异步传感器的焦平面的示图；

-图4是由图3中传感器检测到的事件的时序图。

发明的详细描述

参考图1，在下文详细描述的实现模式中，使用两个传感器C1和C2来拍摄场景，每个传感器包括CCD或者CMOS相机(分别称之为右和左)。每个相机包括MxN个像素，每个像素相当于一个基本传感器。每个像素从一个给定立体角查看场景，并且对在这个立体角下接收到的光照强度敏感。图1示出了两个传感器C1和C2的焦平面。