[发明专利]一种实时彩色及深度全景图像拼接方法

说明书

本发明涉及一种实时彩色及深度全景图像拼接方法，将深度传感器生成的深度图像和彩色图像对齐，利用彩色图像的配准信息来对深度图像进行图像变换和图像融合，进而生成彩色及深度全景图像；对图像拼接流程进行优化，在同一场景下，对同种组型的配准参数只进行一次估计，后续图像直接利用此配准参数进行变换和融合，大大削减了图像拼接时间，实现了全景图像拼接的实时性。本发明拼接的深度全景图畸变更小，拼接方法的灵活性更大，且可以同时完成彩色全景图和深度全景图的生成。本发明提出了基于平均结构相似度的评价标准，对生成的拼接图的几何质量和光度质量进行评价，使系统能够始终以最优的拼接参数进行拼接，图像拼接的质量更高。

技术领域

本发明涉及一种实时彩色及深度全景图像拼接方法，可对以Kinect为代表的视场角较小的RGBD(Red-Green-Blue-Depth)传感器阵列生成的图像序列进行高效快速拼接，同时生成彩色全景图和深度全景图。

背景技术

随着计算机视觉的发展，传统的基于二维彩色图像处理的计算机视觉技术已经无法满足人们将计算机视觉应用于三维物理世界中的要求。深度图像作为一种可以直接反映物体距离信息的图像，受到越来越多的关注。深度图像是将从图像传感器到场景中各点的距离作为像素值的图像。与彩色图像相比，其不会受到环境中光照变化的影响。近年来，随着以Microsoft Kinect为代表的能同时获取彩色和深度信息的传感器的推出，人们可以以较低的成本实时获取较高分辨率的深度图像，这大大推动了深度图像在计算机视觉技术中的应用。在物体的检测、分割、追踪和识别，三维重建，SLAM等领域，深度图像都有十分重要的作用。

传统上深度图像的获取方法有：激光雷达深度成像技术、结构光技术、立体视觉技术等。激光雷达虽然可以获得高精度的深度图像，但其价格昂贵；结构光技术只能用于测量静止物体的三维深度数据；立体视觉技术获得的深度信息较为粗糙。因此很长世间以来，人们很难以较为低廉的成本，获得较高分辨率的深度图像，这在很大程度上限制了深度图像在计算机视觉领域中的应用。这种局面被微软于2010年发布的革命性产品Kinect所打破。Kinect通过匹配编码光模板来获得场景的深度图像，并能提供30fps的分辨率为640×480的深度图像。此后也出现了各种同类型的深度相机，诸如ASUS的Xtion、Intel的RealSense、Microsoft的二代Kinect，它们的出现大大推动了深度图像在计算机视觉领域中的应用。

然而与传统激光雷达的360°深度图相比，以Kinect为代表的消费级深度相机的视场相对狭小，一代Kinect的视场角仅为57°，单个深度相机狭小的场景覆盖范围极大地限制了其在诸如物体检测追踪、三维重建、SLAM等计算机视觉领域中的应用。目前拓展相机视场角的方法主要有两种：一种是利用单个相机拍摄的序列图像，然后将其拼接成全景图像；另一种是通过相机阵列同时拍摄，生成多幅同一场景的具有一定交叠区域的图像序列，拼接后生成全景图像。后一种方法虽然需要使用的相机较多，但其可以实时获得360°空间的多幅图像，更符合实际应用中的需要，因而被广泛采用。

在经典的图像拼接算法中，不同视角拍摄的图片需要根据对应的特征点的匹配信息来计算变换矩阵，从而将图像序列变化至同一坐标系下进行拼接。然而，目前由图像序列生成全景图像的拼接算法只适用于彩色图像的拼接。因为拼接算法所依赖的图像配准技术需要通过匹配相邻序列图像重叠区域中的特征点来完成图像序列的配准，从而创建一幅无错位的全景图。深度信息缺乏有效的特征点信息，因此现有的拼接算法无法直接拼接深度图像。经典的全景拼接流程包括图像预处理、图像配准和图像融合。其算法耗时长，无法满足实时处理的需求。因此，找到一种有效的，能满足实时图像处理要求的深度图像拼接技术，从而拓展以Kinect为代表的低成本RGBD传感器的视场角，对于提升深度图像在计算机领域中应用的深度和广度具有重要意义。

发明内容

本发明的目的在于针对现有技术存在的问题，提出一种实时彩色及深度全景图像拼接方法，能实现实时彩色及深度全景图拼接。

为了达到上述目的，本发明的构思如下：