[发明专利]一种非同源图像数据信息融合处理方法及系统

说明书

一种非同源图像数据信息融合处理方法及系统，包括：基于图像的三维恢复、三维点云数据滤波和多帧点云数据匹配及融合。本发明通过对不同图像源的立体图像对进行匹配、滤波等处理，将多源信息转化为多个同类型的高精度三维点云数据，进一步通过准确、高效的多元数据融合，实现大范围高精度的三维地形恢复，适用于巡视探测器的高可靠三维场景重建。

技术领域

本发明涉及多图像源数据信息融合方法及系统，适用于基于光学敏感器的巡视探测器大范围高精度三维场景重建。

背景技术

在未知复杂的地形环境下，对于配备光学敏感器进行探测任务的巡视探测器来说，由于相机视场视场范围有限，仅依靠单一敏感器进行单次成像所获取的环境信息量过少，无法对巡视器周围地形建立足够的认知，从而无法实现大范围高精度三维场景的重建，进而影响对巡视器进行安全有效的导航规划控制。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种非同源图像数据信息融合处理方法及系统，通过对多种图像源、多次成像所获取的环境信息进行准确、高效的多元数据融合，实现大范围高精度的三维场景重建，具有广泛的适用性。

本发明采用的技术方案为：

一种非同源图像数据信息融合处理方法，实现步骤如下：

(1)通过两个独立图像源对同一场景成像，得到两幅原始图像，针对所述两幅原始图像，进行三维恢复，得到单帧三维点云数据；

(2)对所述单帧三维点云数据进行数据滤波；

(3)针对与步骤(1)相同的场景，通过多个图像源多次成像获取图像，均经过步骤(1)和步骤(2)的处理，得到多帧滤波后的三维点云数据；

(4)进行多帧点云数据融合，从而完成非同源图像数据信息融合处理。

所述三维恢复，是指根据两幅原始图像中对应像素点的坐标，恢复出真实场景的三维信息，主要实现步骤如下：

(1.1)根据相机的内参数和外参数，对两幅原始图像进行极线校正；

(1.2)利用图像匹配算法对极线校正后的图像对进行匹配，并得到两幅图像的视差数据；

(1.3)根据视差数据，结合相机安装及成像时的姿态，计算场景三维信息，得到相应的单帧三维点云数据。

所述图像匹配算法采用Semi-global匹配算法，采用单指令多数据流方式进行加速。

所述步骤(2)中对所述单帧三维点云数据进行数据滤波，具体为：

(2.1)采用KD-Tree的数据结构形式对所述单帧三维点云数据进行描述；

(2.2)根据噪声点产生的机制不同，将步骤(2.1)描述之后的三维点云数据中包含的噪声点分为由错误匹配产生的外点以及重建后的随机噪声两类，分别利用基于点云局部密度的方法和双边带滤波方法，对外点和随机噪声进行滤除。

所述步骤(4)进行多帧点云数据融合，是指：根据匹配后的多帧点云数据的相对位置和姿态信息，经过坐标变化将匹配后的多帧点云数据统一到同一个基准坐标系下，从而完成多帧点云数据的融合。

根据匹配后的多帧点云数据的相对位置和姿态信息，经过坐标变化将匹配后的多帧点云数据统一到同一个基准坐标系下，从而完成多帧点云数据的融合，具体为：

(4.1)如果当前帧是第一帧，则将其坐标系作为基准坐标系，同时复制给多帧数据，并且记录当前位姿，即基准旋转矩阵和基准平移矩阵

(4.2)如果当前帧非第一帧，则采用多帧点云匹配方法计算当前帧相对前一帧的位姿变化，得到相对旋转矩阵R_c和相对平移矩阵T_c；