[发明专利]3D点云数据对于2D电光图像数据的对准

说明书

技术领域

发明的装置涉及图像对准，并且更具体地说，涉及由电光图像传感器获得的二维图像数据与由LIDAR传感器获得的三维点云图像数据的对准(registration)。

背景技术

成像传感器被用在各种各样的用途中，包括国家安全和军事用途。例如，这种类型的传感器通常定位在飞行器和地球轨道卫星平台上。常规电光(EO)传感器已经长期用于收集这样的图像数据，并且一般产生二维数据。这样的数据一般与图像到平面区域上的投影相对应，该平面区域可完全由x和y坐标轴定义。

最近，对三维成像数据的兴趣已逐渐增大。本领域技术人员将认识到，存在有各种不同类型的传感器、测量装置及成像系统，它们可用来产生3D点云数据。产生一帧或多帧3D点云数据的3D成像系统的一个例子是常规LIDAR成像系统。一般地，这样的LIDAR系统使用高能激光器、光学探测器和计时电路，以确定到目标的距离。在常规LIDAR系统中，一个或多个激光脉冲用来照射场景。每个脉冲触发计时电路，该计时电路与探测器阵列一起操作。一般地，系统测量光脉冲的每个像素通过从激光器到目标和返回到探测器阵列的往返路径的时间。从目标反射的光在探测器阵列中被探测，并且其往返行进时间被测量，以确定到在目标上的点的距离。对于组成目标的多个点，得到计算的范围或距离信息，由此创建3D点云。3D点云可用来再现物体的3-D形状。

在3D点云中的每个点与由数字摄像机产生的像素数据有些相似，不同之处是，3D点数据按三维排列，使点在各个位置处由x、y和z坐标系定义。由LIDAR传感器产生的点的3D图像或云通常称作点云数据。与2D像素数据相反，x、y、z坐标仅提供空间信息，而2D像素包含作为波长的函数的视觉强度信息。应该注意，某些LIDAR传感器通过在感兴趣区域上的长停留时间，可同时收集强度数据。

点云数据对于创建场景的3D模型是有用的。然而，它常常缺少通常与使用常规EO传感器获得的图像数据相关的大量详细视觉信息。相应地，便利的是，对于同一场景将2D EO成像数据与3D点云数据相结合。然而，结合两种不同集合的成像数据必定要求图像对准步骤。这样的图像对准步骤通常借助于与图像相关的元数据。例如，这样的元数据可包括：1)传感器的方位和姿势信息；2)与图像的角部点相关的经纬坐标；及3)在点云数据的情况下，用于点云数据的原始x、y和z点位置。这种元数据可用来确定在数据集之间的重叠区域以及对应点搜索到达区域。可是，这种图像对准步骤可能是困难的和耗时的，因为它要求由不同传感器在不同数据收集时间和不同相对传感器位置处获得的EO和LIDAR图像数据的精确对准。况且，点云数据与EO图像数据相比基本上是不同的，造成更复杂的交叉-传感器对准问题。

为了解决上述对准问题，已经提出各种对准方案。例如，某些对准方案利用LIDAR强度图像作为在对准过程中的帮助。LIDAR强度图像通过使LIDAR传感器在场景上停留延长的时间段而得到。在这个时间段期间，反射强度数据由传感器收集。这导致由LIDAR传感器得到的2D图像数据集，该2D图像数据集与由EO传感器收集的常规图像数据有些相似。LIDAR强度图像此后可用在各种方法中，以促进对准过程。可是，使用2D LIDAR强度图像的对准具有多种缺陷。首先，它仅提供LIDAR数据对于2D EO图像的2D对准。第二，使用这种2D LIDAR强度图像以及原始3D点云数据和2D EO图像，可能处理强度大，并且需要大量的计算机存储器。

其它2D对3D对准技术在如下意义上也是受限的：它们主要仅对于城市场景(并且要求形状信息)或涉及医学成像法的场景(并且要求在2D图像上的标记)有用。这样的系统还要求与对准相关的对准参数的良好初始推测。

发明内容

本发明涉及用于对准两个或更多个图像的方法和系统。针对共同场景，得到二维图像数据集和三维图像数据集。对于重叠区域，剪切点云数据的三维体积和二维图像数据。进一步的剪切去除点云数据的构成共同场景内的地面一部分。此后，将三维体积划分成m个子体积。将在每个子体积内的点云数据投影到与来自成像传感器的视线相垂直的对准平面上。